在Python的Scrapy框架中,你可以通過在Spider類中定義一個start_requests
方法來設置請求頭。以下是一個簡單的示例:
import scrapy
class MySpider(scrapy.Spider):
name = 'myspider'
start_urls = ['https://example.com']
def start_requests(self):
for url in self.start_urls:
yield scrapy.Request(url, headers={
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
'Accept-Language': 'en',
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Connection': 'keep-alive',
})
在這個示例中,我們定義了一個名為MySpider
的Spider類,并在其中設置了請求頭。start_requests
方法遍歷start_urls
列表中的每個URL,并使用scrapy.Request
對象發起請求。在創建scrapy.Request
對象時,我們傳遞了headers
參數,其中包含了我們想要設置的請求頭。
這樣,當你運行這個爬蟲時,它將使用指定的請求頭來發起網絡請求。