溫馨提示×

Python爬蟲user agent如何模擬

小樊
111
2024-12-05 15:34:36
欄目: 編程語言

在Python中,您可以使用fake_useragent庫來模擬User-Agent。首先,您需要安裝該庫:

pip install fake_useragent

安裝完成后,您可以在爬蟲代碼中使用它來隨機選擇一個User-Agent。以下是一個簡單的示例:

from fake_useragent import UserAgent
import requests

# 創建一個UserAgent對象
ua = UserAgent()

# 隨機選擇一個User-Agent
user_agent = ua.random

# 使用選擇的User-Agent發送請求
headers = {'User-Agent': user_agent}
url = 'https://example.com'
response = requests.get(url, headers=headers)

# 輸出響應內容
print(response.text)

在這個示例中,我們首先從fake_useragent庫中導入UserAgent類。然后,我們創建一個UserAgent對象,并使用random屬性獲取一個隨機的User-Agent。接下來,我們將這個User-Agent添加到請求頭中,并使用requests.get()發送請求。最后,我們輸出響應的內容。這樣,您的爬蟲就會像使用不同的瀏覽器一樣訪問網站,從而降低被屏蔽的風險。

0
亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女