python如何爬取美團網站店鋪信息

# Python如何爬取美團網站店鋪信息

網絡爬蟲是獲取互聯網公開數據的有效工具，本文將以美團為例，介紹如何使用Python爬取店鋪基礎信息（需遵守法律法規和網站Robots協議）。

---

## 一、準備工作

### 1. 技術棧選擇
- **Requests/httpx**：發送HTTP請求
- **BeautifulSoup/lxml**：解析HTML
- **Selenium**（可選）：處理動態渲染頁面
- **Pandas**：數據存儲

### 2. 環境安裝
```bash
pip install requests beautifulsoup4 pandas
# 如需動態渲染
pip install selenium webdriver-manager

二、爬取流程設計

1. 頁面分析

1. 打開美團商家列表頁（如美食分類）
2. 使用瀏覽器開發者工具（F12）：
   • 查看Network中的XHR請求
   • 定位店鋪數據的API接口
   • 分析請求參數（城市ID、分類、頁碼等）

2. 關鍵步驟

import requests
from bs4 import BeautifulSoup

def get_shops(city_id=1, category=101):
    url = "https://apimobile.meituan.com/group/v4/poi/pcsearch"
    params = {
        "uuid": "生成唯一標識",
        "userid": -1,
        "limit": 20,
        "offset": 0,
        "cateId": category,
        "q": "",
        "token": ""
    }
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64)..."
    }
    response = requests.get(url, params=params, headers=headers)
    return response.json()["data"]["searchResult"]

三、數據解析示例

1. 靜態頁面解析

soup = BeautifulSoup(html_text, 'lxml')
shops = []
for item in soup.select('.shop-list li'):
    name = item.select_one('.shop-name').text
    address = item.select('.address').text
    shops.append({'name':name, 'address':address})

2. API數據解析（推薦）

for shop in api_data:
    print(f"""
    店鋪ID：{shop['id']}
    名稱：{shop['title']}
    評分：{shop['avgscore']}
    人均：{shop['avgprice']}
    地址：{shop['address']}
    """)

四、反爬應對策略

1. 請求頭偽裝：添加完整Headers（Referer/Cookie）
2. IP輪換：使用代理IP池（如阿布云）
3. 請求頻率控制：添加隨機延遲（time.sleep）
4. 驗證碼處理：第三方打碼平臺或OCR識別

五、數據存儲

import pandas as pd
df = pd.DataFrame(shops_list)
df.to_excel('meituan_shops.xlsx', index=False)
# 或存儲到數據庫

注意事項

1. 嚴格遵守美團Robots協議
2. 設置合理的爬取間隔（建議≥3秒/請求）
3. 僅用于學習研究，禁止商業用途
4. 敏感字段（如聯系方式）建議不爬取

完整代碼示例請參考GitHub開源項目（需自行實現反爬邏輯）。 “`

（注：實際代碼需根據美團當前頁面結構調整，本文示例僅供參考，具體實現可能需處理加密參數或動態令牌。）