溫馨提示×

干貨Python爬蟲如何設置代理IP

小云
135
2023-09-21 04:56:44
欄目: 編程語言

在Python爬蟲中設置代理IP可以通過使用第三方庫如requests或urllib庫來實現。以下是一個使用requests庫設置代理IP的示例代碼:

import requests
# 設置代理IP
proxies = {
'http': 'http://IP:端口',
'https': 'https://IP:端口',
}
# 發送請求時使用代理IP
response = requests.get('https://www.example.com', proxies=proxies)
# 打印響應內容
print(response.text)

在上面的代碼中,將IP端口替換為你的代理IP和端口號。注意,httphttps分別對應HTTP和HTTPS請求的代理設置。

如果你的代理IP需要身份驗證,可以在代理IP的后面加上用戶名和密碼,如下所示:

import requests
# 設置代理IP
proxies = {
'http': 'http://用戶名:密碼@IP:端口',
'https': 'https://用戶名:密碼@IP:端口',
}
# 發送請求時使用代理IP
response = requests.get('https://www.example.com', proxies=proxies)
# 打印響應內容
print(response.text)

同樣,將用戶名、密碼、IP端口替換為你的代理IP的相關信息。

另外,如果你需要使用多個代理IP,可以使用代理IP池來實現。代理IP池是一個存儲多個代理IP的容器,你可以從中隨機選擇一個代理IP并設置為請求的代理。以下是一個簡單的示例代碼:

import random
import requests
# 代理IP池
proxies = [
'http://IP1:端口1',
'http://IP2:端口2',
'http://IP3:端口3',
]
# 隨機選擇一個代理IP
proxy = random.choice(proxies)
# 發送請求時使用代理IP
response = requests.get('https://www.example.com', proxies={'http': proxy})
# 打印響應內容
print(response.text)

在上面的代碼中,proxies是一個代理IP池,你可以在其中添加多個代理IP。然后,使用random.choice函數從代理IP池中隨機選擇一個代理IP并設置為請求的代理。注意,這里只設置了HTTP請求的代理,如果你需要同時設置HTTPS請求的代理,需要在proxies中添加對應的代理信息。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女