python爬蟲多線程需要哪些庫支持

在Python中，進行多線程爬蟲需要使用以下庫：

1. threading：Python內置庫，用于創建和管理線程。

2. requests：用于發送HTTP請求，獲取網頁內容。安裝：pip install requests

3. BeautifulSoup 或 lxml：用于解析HTML文檔，提取所需信息。安裝：pip install beautifulsoup4 或 pip install lxml

4. queue：Python內置庫，用于線程安全的隊列操作，可以在多線程環境下存儲和傳遞數據。

以下是一個簡單的多線程爬蟲示例：

import threading
import requests
from bs4 import BeautifulSoup
from queue import Queue

# 定義爬蟲線程數
num_threads = 5

# 定義待爬取的URL隊列
url_queue = Queue()

# 定義已爬取的URL集合，避免重復爬取
visited_urls = set()

# 爬蟲線程函數
def crawl(thread_id):
    while not url_queue.empty():
        url = url_queue.get()
        if url not in visited_urls:
            try:
                response = requests.get(url)
                response.raise_for_status()
                soup = BeautifulSoup(response.text, 'lxml')
                # 提取頁面信息，這里僅打印標題
                print(f"Thread {thread_id}: {soup.title.string}")
                visited_urls.add(url)
            except Exception as e:
                print(f"Thread {thread_id} error: {e}")
        url_queue.task_done()

# 初始化線程
for i in range(num_threads):
    t = threading.Thread(target=crawl, args=(i,))
    t.start()

# 向隊列中添加待爬取的URL
url_queue.put("https://www.example.com")

# 等待隊列中的URL全部爬取完成
url_queue.join()

這個示例中，我們使用threading庫創建5個線程，每個線程負責爬取一個URL。我們使用requests庫發送HTTP請求，獲取網頁內容，然后使用BeautifulSoup解析HTML文檔，提取所需信息。為了避免重復爬取，我們使用一個集合visited_urls來存儲已爬取的URL。