溫馨提示×

Python爬蟲user agent如何隨機切換

小樊
143
2024-12-05 15:17:39
欄目: 編程語言

在Python中,你可以使用random庫來隨機選擇一個User-Agent。以下是一個簡單的示例,展示了如何在爬蟲中隨機切換User-Agent:

首先,確保已經安裝了requests庫。如果沒有安裝,可以使用以下命令安裝:

pip install requests

然后,創建一個包含多個User-Agent的列表,并使用random.choice()函數隨機選擇一個User-Agent:

import random
import requests

user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0',
    'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; AS; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; AS; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.82 Safari/537.36',
]

def get_random_user_agent():
    return random.choice(user_agents)

url = 'https://example.com'
headers = {'User-Agent': get_random_user_agent()}

response = requests.get(url, headers=headers)
print(response.text)

在這個示例中,我們首先導入randomrequests庫。然后,我們創建一個包含多個User-Agent的列表user_agents。接下來,我們定義了一個名為get_random_user_agent的函數,該函數從user_agents列表中隨機選擇一個User-Agent。

在爬蟲的主要部分,我們定義了要訪問的URL和要發送的請求頭(其中包含隨機選擇的User-Agent)。最后,我們使用requests.get()函數發送請求并打印響應內容。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女