在Python中,要激活代理IP爬蟲,您需要首先安裝一個名為requests的庫(如果尚未安裝),然后使用該庫設置代理服務器。以下是一個簡單的示例,說明如何使用代理IP爬蟲:
requests庫(如果尚未安裝):pip install requests
import requests
# 代理服務器列表
proxies = [
{'http': 'http://proxy1.example.com:8080'},
{'http': 'http://proxy2.example.com:8080'},
{'http': 'http://proxy3.example.com:8080'}
]
# 要爬取的URL
url = 'https://www.example.com'
# 使用代理服務器發送請求
response = requests.get(url, proxies=proxies)
# 打印響應內容
print(response.text)
在這個示例中,我們定義了一個名為proxies的列表,其中包含三個代理服務器的URL。然后,我們使用requests.get()函數發送一個GET請求,并將proxies參數設置為代理服務器列表。這將使請求通過其中一個代理服務器發送。
請注意,您需要將proxy1.example.com、proxy2.example.com和proxy3.example.com替換為您自己的代理服務器地址。同樣,您可以根據需要更改端口號(在本例中為8080)。
此外,您還可以使用其他HTTP方法(如POST、PUT等)以及設置其他請求頭。只需將requests.get()替換為相應的方法,并根據需要傳遞其他參數即可。