在Python中設置爬蟲的User-Agent主要是通過在HTTP請求頭中添加一個"User-Agent"字段來實現。不同的瀏覽器和設備會有不同的User-Agent字符串，因此合理地設置User-Agent可以避免被目標網站識別為爬蟲。
以下是使用Python的requests庫來設置User-Agent的示例：
import requests
url = 'https://www.example.com'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
print(response.text)
在這個示例中，我們首先導入了requests庫，然后定義了目標URL和一個包含User-Agent的headers字典。在發送GET請求時，我們將headers參數設置為包含User-Agent的字典。這樣，我們的爬蟲就會在請求頭中攜帶User-Agent信息，模擬成一個正常的瀏覽器訪問目標網站。
