python爬蟲scrapy怎么改

Scrapy是一個強大的Python爬蟲框架，你可以通過修改其配置、編寫自定義的爬蟲類、中間件等來定制你的爬蟲。以下是一些常見的修改方法：

1. 修改配置

Scrapy的配置存儲在settings.py文件中。你可以直接修改這個文件來改變爬蟲的行為。

# settings.py

# 設置下載延遲時間
DOWNLOAD_DELAY = 3

# 設置User-Agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

# 設置是否使用代理
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 100,
}

2. 編寫自定義爬蟲類

你可以創建一個繼承自scrapy.Spider的類來定義你的爬蟲。

# myspider.py
import scrapy

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 解析邏輯
        title = response.css('title::text').get()
        yield {'title': title}

3. 使用中間件

Scrapy支持中間件，可以在請求和響應之間插入自定義的邏輯。

# myproject/middlewares.py
import scrapy

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = 'http://your_proxy:port'

然后在settings.py中啟用這個中間件：

# settings.py
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 100,
}

4. 使用Item和Field

Scrapy使用Item和Field來定義爬取的數據結構。

# myproject/items.py
import scrapy

class MyItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()

然后在爬蟲中使用這個Item：

# myspider.py
import scrapy
from myproject.items import MyItem

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    def parse(self, response):
        item = MyItem()
        item['title'] = response.css('title::text').get()
        item['link'] = response.url
        yield item

5. 使用信號

Scrapy提供了信號機制，可以在爬蟲的生命周期中插入自定義邏輯。

# myproject/signals.py
from scrapy import signals

class MySpider(scrapy.Spider):
    name = 'myspider'
    start_urls = ['http://example.com']

    @classmethod
    def from_crawler(cls, crawler, *args, **kwargs):
        spider = super(MySpider, cls).from_crawler(crawler, *args, **kwargs)
        crawler.signals.connect(spider.spider_opened, signal=signals.spider_opened)
        return spider

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)

然后在settings.py中啟用信號處理：

# settings.py
SPIDER_MIDDLEWARES = {
    'myproject.middlewares.MySpiderMiddleware': 543,
}

總結

通過上述方法，你可以根據需要修改Scrapy的行為。根據你的具體需求，可以進一步探索Scrapy的文檔和源碼，了解更多高級用法。