在使用Python的requests庫進行爬蟲時，可以通過設置User-Agent來模擬不同的瀏覽器訪問網站。User-Agent是HTTP請求頭中的一個字段，用于表示客戶端（瀏覽器）的類型、版本等信息。大多數網站會檢查User-Agent以識別和阻止爬蟲訪問。
要在requests中設置User-Agent，可以在headers參數中添加一個字典，將User-Agent字符串作為鍵值對。以下是一個示例：
import requests
url = 'https://example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
print(response.text)
在這個示例中，我們設置了一個常見的Chrome瀏覽器User-Agent。你可以根據需要替換為其他瀏覽器的User-Agent字符串。這樣，網站可能會認為這是一個正常的瀏覽器訪問，而不是爬蟲。
請注意，有些網站可能會檢查User-Agent以外的其他特征，如IP地址、訪問速度等，來識別爬蟲。在這種情況下，可能需要采取其他措施來規避這些限制，例如使用代理IP、設置訪問間隔等。
