多線程python爬蟲怎樣進行超時處理

在Python中，使用多線程進行網絡爬蟲時，可以通過設置線程的timeout參數來實現超時處理。以下是一個簡單的示例，展示了如何使用concurrent.futures.ThreadPoolExecutor和requests庫進行超時處理：

import requests
from concurrent.futures import ThreadPoolExecutor, as_completed

def fetch(url, timeout):
    try:
        response = requests.get(url, timeout=timeout)
        response.raise_for_status()  # 如果響應狀態碼不是200，將拋出異常
        return response.text
    except requests.exceptions.Timeout:
        print(f"請求超時: {url}")
        return None
    except requests.exceptions.RequestException as e:
        print(f"請求異常: {url}, 錯誤信息: {e}")
        return None

def main():
    urls = [
        "https://www.example.com",
        "https://www.example2.com",
        "https://www.example3.com",
        # 更多URL...
    ]

    timeout = 5  # 設置超時時間（秒）
    max_workers = 5  # 設置最大線程數

    with ThreadPoolExecutor(max_workers=max_workers) as executor:
        future_to_url = {executor.submit(fetch, url, timeout): url for url in urls}

        for future in as_completed(future_to_url):
            url = future_to_url[future]
            try:
                data = future.result()
                if data:
                    print(f"成功獲取數據: {url}")
                else:
                    print(f"未能獲取數據: {url}")
            except Exception as e:
                print(f"處理異常: {url}, 錯誤信息: {e}")

if __name__ == "__main__":
    main()

在這個示例中，我們定義了一個fetch函數，它接受一個URL和一個超時時間作為參數。我們使用requests.get方法發起請求，并設置timeout參數。如果請求超時，將捕獲requests.exceptions.Timeout異常并打印一條消息。如果發生其他請求異常，將捕獲requests.exceptions.RequestException異常并打印一條消息。

在main函數中，我們創建一個ThreadPoolExecutor實例，并使用submit方法提交fetch任務。我們使用as_completed函數來迭代已完成的任務，并處理結果或異常。