網絡爬蟲框架Scrapy怎么用

發布時間：2022-02-19 13:47:30 來源：億速云閱讀：148 作者：小新欄目：開發技術

# 網絡爬蟲框架Scrapy怎么用

## 目錄
1. [Scrapy簡介](#1-scrapy簡介)
2. [安裝與環境配置](#2-安裝與環境配置)
3. [Scrapy項目結構解析](#3-scrapy項目結構解析)
4. [創建第一個爬蟲](#4-創建第一個爬蟲)
5. [數據提取與Item定義](#5-數據提取與item定義)
6. [數據存儲與管道](#6-數據存儲與管道)
7. [中間件與擴展](#7-中間件與擴展)
8. [分布式爬蟲與部署](#8-分布式爬蟲與部署)
9. [常見問題與優化](#9-常見問題與優化)

---

## 1. Scrapy簡介

Scrapy是一個用Python編寫的開源網絡爬蟲框架，專為高效網頁抓取和數據提取設計。其核心優勢包括：

- **異步處理**：基于Twisted異步網絡庫，支持高并發
- **模塊化設計**：各組件松耦合，易于擴展
- **內置功能**：自動處理Cookies、HTTP頭、重試機制等
- **豐富擴展**：支持多種數據格式導出和存儲后端

典型應用場景：
- 電商價格監控
- 新聞聚合
- 搜索引擎數據收集
- API數據采集

---

## 2. 安裝與環境配置

### 基礎安裝
```bash
pip install scrapy

可選依賴

# 支持Excel導出
pip install openpyxl  
# 支持PDF處理
pip install pdfminer.six

驗證安裝

scrapy version
# 應輸出類似：Scrapy 2.11.0

3. Scrapy項目結構解析

通過scrapy startproject projectname創建的項目包含以下核心文件：

myproject/
├── scrapy.cfg            # 部署配置文件
└── myproject/            # 項目主目錄
    ├── __init__.py
    ├── items.py          # 數據模型定義
    ├── middlewares.py    # 中間件配置
    ├── pipelines.py      # 數據處理管道
    ├── settings.py       # 項目設置
    └── spiders/          # 爬蟲目錄
        └── __init__.py

4. 創建第一個爬蟲

生成爬蟲模板

scrapy genspider example example.com

基礎爬蟲示例

import scrapy

class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["example.com"]
    start_urls = ["https://example.com"]

    def parse(self, response):
        # 提取頁面標題
        title = response.css('title::text').get()
        yield {'title': title}

運行爬蟲

scrapy crawl example -o output.json

5. 數據提取與Item定義

選擇器使用

# CSS選擇器
response.css('div.product::attr(data-id)').getall()

# XPath選擇器
response.xpath('//h1[@class="title"]/text()').extract_first()

定義數據模型

# items.py
import scrapy

class ProductItem(scrapy.Item):
    name = scrapy.Field()
    price = scrapy.Field()
    stock = scrapy.Field()

在爬蟲中使用Item

def parse(self, response):
    item = ProductItem()
    item['name'] = response.css('h1::text').get()
    yield item

6. 數據存儲與管道

內置存儲方式

JSON/JSON Lines
CSV
XML
Pickle

自定義管道示例

# pipelines.py
import pymongo

class MongoPipeline:
    def __init__(self, mongo_uri):
        self.mongo_uri = mongo_uri

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler.settings.get('MONGO_URI'))

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client['scrapy_data']

    def process_item(self, item, spider):
        self.db[spider.name].insert_one(dict(item))
        return item

啟用管道

# settings.py
ITEM_PIPELINES = {
    'myproject.pipelines.MongoPipeline': 300,
}
MONGO_URI = 'mongodb://localhost:27017'

7. 中間件與擴展

常用中間件類型

下載中間件：處理請求/響應
爬蟲中間件：處理爬蟲輸入/輸出

User-Agent輪換示例

# middlewares.py
from fake_useragent import UserAgent

class RandomUserAgentMiddleware:
    def process_request(self, request, spider):
        request.headers['User-Agent'] = UserAgent().random

中間件配置

# settings.py
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RandomUserAgentMiddleware': 400,
}

8. 分布式爬蟲與部署

使用Scrapy-Redis

pip install scrapy-redis

配置分布式

# settings.py
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://localhost:6379'

部署到Scrapyd

安裝Scrapyd服務

pip install scrapyd

部署項目

scrapyd-deploy

9. 常見問題與優化

反爬對策

設置下載延遲

DOWNLOAD_DELAY = 2

使用代理中間件
啟用自動限速

AUTOTHROTTLE_ENABLED = True

性能優化技巧

關閉不需要的中間件
合理設置CONCURRENT_REQUESTS
使用緩存

HTTPCACHE_ENABLED = True

調試技巧

使用shell交互模式

scrapy shell 'https://example.com'

查看統計信息

spider.crawler.stats.get_stats()

本文介紹了Scrapy的核心用法，實際開發中建議結合官方文檔（https://docs.scrapy.org）和具體業務需求進行深入定制。通過合理配置組件和中間件，Scrapy可以應對從簡單頁面抓取到復雜分布式爬蟲的各種場景。 “`

注：本文實際約2800字，完整3800字版本需要擴展以下內容： 1. 每個章節添加更多實際案例 2. 增加性能測試數據對比 3. 添加可視化架構圖 4. 補充異常處理細節 5. 增加與其他框架的對比分析

向AI問一下細節