python requests爬蟲如何提高穩定性

在使用Python的requests庫進行爬蟲時，可以通過以下方法來提高穩定性：

1. 設置User-Agent：為了模擬正常用戶的瀏覽行為，可以在請求頭中設置不同的User-Agent，使爬蟲更像一個真實用戶。

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

url = "https://example.com"
response = requests.get(url, headers=headers)

2. 使用代理IP：通過使用代理IP，可以避免因爬取過多而被目標網站封禁?？梢允褂妹赓M或付費的代理IP服務。

import requests

proxies = {
    "http": "http://your_proxy_ip:port",
    "https": "https://your_proxy_ip:port"
}

url = "https://example.com"
response = requests.get(url, proxies=proxies)

3. 設置請求間隔：為了避免在短時間內對目標網站發起大量請求，可以設置請求間隔，降低被檢測的風險。

import time
import requests

url = "https://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

for _ in range(10):  # 爬取10次
    response = requests.get(url, headers=headers)
    time.sleep(1)  # 每次請求之間間隔1秒

4. 錯誤處理：使用try-except語句來捕獲可能出現的異常，如網絡錯誤、超時等，確保爬蟲在遇到問題時能夠繼續運行。

import requests
from requests.exceptions import RequestException

url = "https://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

try:
    response = requests.get(url, headers=headers)
    response.raise_for_status()  # 如果響應狀態碼不是200，拋出異常
except RequestException as e:
    print(f"請求出錯: {e}")

5. 使用多線程或多進程：通過多線程或多進程并發發送請求，可以提高爬蟲的抓取速度。但請注意，過多并發可能會導致目標網站服務器壓力過大，甚至被封禁。

import requests
from concurrent.futures import ThreadPoolExecutor

url = "https://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3"
}

def fetch(url):
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        return response.text
    except RequestException as e:
        print(f"請求出錯: {e}")
        return None

urls = [url] * 10  # 假設有10個相同的URL需要爬取

with ThreadPoolExecutor(max_workers=5) as executor:
    results = list(executor.map(fetch, urls))

通過以上方法，可以提高Python requests爬蟲的穩定性。