python代理ip爬蟲怎么設置

在Python中設置代理IP爬蟲，可以使用requests庫和fake_useragent庫來實現。以下是一個簡單的示例：

首先，確保已經安裝了requests和fake_useragent庫。如果沒有安裝，可以使用以下命令安裝：

pip install requests
pip install fake_useragent

接下來，編寫一個簡單的爬蟲程序，使用代理IP和隨機User-Agent：

import requests
from fake_useragent import UserAgent

# 代理IP列表
proxies = [
    {'http': 'http://proxy1:8080'},
    {'http': 'http://proxy2:8080'},
    {'http': 'http://proxy3:8080'},
]

# 隨機User-Agent列表
ua = UserAgent()

def get_proxy():
    return random.choice(proxies)

def get_url_content(url):
    proxy = get_proxy()
    headers = {'User-Agent': ua.random}
    try:
        response = requests.get(url, headers=headers, proxies=proxy, timeout=5)
        response.raise_for_status()
        return response.text
    except requests.exceptions.RequestException as e:
        print(f"Error: {e}")
        return None

if __name__ == "__main__":
    url = "https://www.example.com"
    content = get_url_content(url)
    if content:
        print(content)

在這個示例中，我們首先導入requests和fake_useragent庫。然后，我們定義了一個代理IP列表proxies和一個User-Agent列表ua。get_proxy()函數從代理IP列表中隨機選擇一個代理IP，get_url_content(url)函數使用隨機選擇的代理IP和User-Agent發送GET請求，并返回響應內容。

請注意，這個示例僅用于演示目的。在實際應用中，您可能需要根據目標網站的要求和限制來調整代理IP列表、User-Agent列表以及其他參數。同時，為了避免被目標網站封禁，建議使用高質量的代理IP服務，并遵守網站的robots.txt規則。