怎樣在scrapy中設置請求頭

在Scrapy中，您可以通過在請求中設置headers屬性來添加自定義請求頭。以下是一個簡單的示例：

首先，確保您已經安裝了Scrapy并創建了一個新的Scrapy項目。然后，在您想要發送帶有自定義請求頭的請求的Spider文件中，找到或創建一個方法（例如start_requests），并在該方法中設置請求頭。

以下是一個示例Spider，它在發送請求時添加了自定義的User-Agent和Authorization請求頭：

import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['https://example.com']

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, headers={
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3',
                'Authorization': 'Bearer your_api_token_here',
            })

    def parse(self, response):
        # 在這里處理響應
        pass

在這個示例中，我們首先導入了scrapy模塊，然后創建了一個名為MySpider的Spider類。我們設置了start_urls屬性，以便從給定的URL開始抓取。

在start_requests方法中，我們遍歷start_urls列表，并為每個URL創建一個scrapy.Request對象。我們通過設置headers參數來添加自定義請求頭。在這個例子中，我們添加了User-Agent和Authorization請求頭。

最后，我們定義了一個名為parse的方法來處理響應。在這個方法中，您可以編寫處理網頁內容的代碼。