要在Python爬蟲中更新User-Agent,您可以使用fake_useragent
庫。這個庫提供了隨機的User-Agent,可以有效地避免被目標網站屏蔽。以下是如何使用fake_useragent
庫的步驟:
fake_useragent
庫。如果沒有,請使用以下命令安裝:pip install fake_useragent
fake_useragent
庫,并使用它生成隨機的User-Agent:from fake_useragent import UserAgent
ua = UserAgent()
random_user_agent = ua.random
import requests
url = 'https://example.com'
headers = {
'User-Agent': random_user_agent
}
response = requests.get(url, headers=headers)
現在,您的爬蟲將使用隨機的User-Agent發送請求,從而降低被屏蔽的風險。請注意,雖然fake_useragent
庫可以有效地避免被屏蔽,但并非萬能。在某些情況下,您可能需要嘗試不同的User-Agent或采取其他策略。