在Python中,您可以使用fake_useragent
庫來模擬User-Agent。首先,您需要安裝該庫:
pip install fake_useragent
安裝完成后,您可以在爬蟲代碼中使用它來隨機選擇一個User-Agent。以下是一個簡單的示例:
from fake_useragent import UserAgent
import requests
# 創建一個UserAgent對象
ua = UserAgent()
# 隨機選擇一個User-Agent
user_agent = ua.random
# 使用選擇的User-Agent發送請求
headers = {'User-Agent': user_agent}
url = 'https://example.com'
response = requests.get(url, headers=headers)
# 輸出響應內容
print(response.text)
在這個示例中,我們首先從fake_useragent
庫中導入UserAgent
類。然后,我們創建一個UserAgent
對象,并使用random
屬性獲取一個隨機的User-Agent。接下來,我們將這個User-Agent添加到請求頭中,并使用requests.get()
發送請求。最后,我們輸出響應的內容。這樣,您的爬蟲就會像使用不同的瀏覽器一樣訪問網站,從而降低被屏蔽的風險。