python爬蟲多線程怎樣提升速度

在Python中，使用多線程可以有效地提高爬蟲的速度。但是，由于全局解釋器鎖（GIL）的存在，Python的多線程并不能真正地實現并行執行。為了充分利用多核CPU的性能，建議使用多進程（multiprocessing）來實現爬蟲的加速。

然而，如果你仍然想嘗試使用多線程來提高爬蟲速度，可以使用以下方法：

1. 使用線程安全的隊列（queue.Queue）來存儲待爬取的URL和已爬取的URL，以確保線程安全。

import threading
from queue import Queue

# 創建一個線程安全的隊列
url_queue = Queue()

def worker():
    while True:
        url = url_queue.get()
        if url is None:
            break
        # 在這里編寫爬蟲邏輯
        print(f"Crawling {url}")
        url_queue.task_done()

# 創建多個線程
num_threads = 5
threads = []
for _ in range(num_threads):
    t = threading.Thread(target=worker)
    t.start()
    threads.append(t)

# 將待爬取的URL添加到隊列中
url_list = ["http://example.com"] * 100
for url in url_list:
    url_queue.put(url)

# 等待所有URL爬取完成
url_queue.join()

# 停止工作線程
for _ in range(num_threads):
    url_queue.put(None)
for t in threads:
    t.join()

2. 使用線程池（concurrent.futures.ThreadPoolExecutor）來管理線程，這樣可以更方便地控制線程的數量和生命周期。

import concurrent.futures
from urllib.parse import urljoin

def fetch(url):
    # 在這里編寫爬蟲邏輯
    print(f"Crawling {url}")
    return url

url_list = ["http://example.com"] * 100

# 使用線程池來執行爬蟲任務
with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(fetch, url_list))

請注意，這些方法可能無法顯著提高爬蟲速度，因為Python的多線程受到了GIL的限制。為了獲得更好的性能，建議使用多進程（multiprocessing）或異步編程（asyncio）。