在Python中,你可以使用random
庫來隨機選擇一個User-Agent。以下是一個簡單的示例,展示了如何在爬蟲中隨機切換User-Agent:
首先,確保已經安裝了requests
庫。如果沒有安裝,可以使用以下命令安裝:
pip install requests
然后,創建一個包含多個User-Agent的列表,并使用random.choice()
函數隨機選擇一個User-Agent:
import random
import requests
user_agents = [
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; AS; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
]
def get_random_user_agent():
return random.choice(user_agents)
url = 'https://example.com'
headers = {'User-Agent': get_random_user_agent()}
response = requests.get(url, headers=headers)
print(response.text)
在這個示例中,我們首先導入random
和requests
庫。然后,我們創建一個包含多個User-Agent的列表user_agents
。接下來,我們定義了一個名為get_random_user_agent
的函數,該函數從user_agents
列表中隨機選擇一個User-Agent。
在爬蟲的主要部分,我們定義了要訪問的URL和要發送的請求頭(其中包含隨機選擇的User-Agent)。最后,我們使用requests.get()
函數發送請求并打印響應內容。