Python怎么爬取美團烤肉商家數據

# Python怎么爬取美團烤肉商家數據

## 前言

在當今大數據時代，獲取和分析商業數據對于市場調研、競品分析和商業決策具有重要意義。美團作為中國領先的生活服務平臺，積累了海量的商家數據。本文將詳細介紹如何使用Python爬取美團平臺的烤肉商家數據，包括店鋪名稱、評分、銷量、地址等信息。

## 一、準備工作

### 1.1 技術準備

在開始爬取前，需要掌握以下Python相關知識：
- 基礎Python語法
- requests庫的使用
- 正則表達式或BeautifulSoup解析
- 反爬蟲機制應對
- 數據存儲（CSV/MySQL等）

### 1.2 工具準備

需要安裝的Python庫：
```python
pip install requests beautifulsoup4 pandas selenium

1.3 法律風險提示

在爬取任何網站數據前，請務必： 1. 查看網站的robots.txt文件（如：https://www.meituan.com/robots.txt） 2. 遵守網站的服務條款 3. 控制請求頻率，避免對目標服務器造成壓力 4. 僅用于學習研究，不用于商業用途

二、分析美團頁面結構

2.1 網頁版與APP版對比

美團的數據獲取主要有兩種途徑： 1. 網頁版：https://www.meituan.com - 優點：結構清晰 - 缺點：反爬嚴格，數據不全 2. APP接口：通過抓包獲取API - 優點：數據完整 - 缺點：需要逆向工程

2.2 關鍵數據定位

以北京地區烤肉商家為例，我們需要提?。?- 商家名稱 - 評分（口味/環境/服務） - 人均消費 - 月銷量 - 詳細地址 - 優惠信息

三、爬蟲實現方案

3.1 基礎爬取方案（簡易版）

import requests
from bs4 import BeautifulSoup
import pandas as pd

def get_meituan_data(city, keyword):
    url = f"https://www.meituan.com/meishi/{city}/"
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...',
        'Cookie': '你的Cookie'
    }
    
    params = {
        'q': keyword,
        'page': 1
    }
    
    response = requests.get(url, headers=headers, params=params)
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 解析商家列表
    shops = []
    for item in soup.select('.common-list-item'):
        name = item.select_one('.shopname').text.strip()
        score = item.select_one('.score').text.strip()
        # 其他字段類似提取...
        
        shops.append({
            'name': name,
            'score': score,
            # 其他字段...
        })
    
    return pd.DataFrame(shops)

3.2 高級方案（處理動態加載）

美團采用動態加載技術，建議使用Selenium：

from selenium import webdriver
from selenium.webdriver.common.by import By
import time

def selenium_crawl():
    driver = webdriver.Chrome()
    driver.get("https://www.meituan.com/meishi/beijing/")
    
    # 模擬滾動加載
    last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(2)
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height
    
    # 提取數據
    items = driver.find_elements(By.CSS_SELECTOR, '.common-list-item')
    for item in items:
        # 解析邏輯...
        pass
    
    driver.quit()

四、處理反爬機制

4.1 常見反爬措施

美團采用的反爬手段包括： 1. 請求頻率限制 2. Cookie驗證 3. 行為驗證碼 4. IP封禁

4.2 應對策略

# 使用代理IP池
proxies = {
    'http': 'http://127.0.0.1:8888',
    'https': 'http://127.0.0.1:8888'
}

# 隨機請求頭
from fake_useragent import UserAgent
ua = UserAgent()
headers = {'User-Agent': ua.random}

# 請求間隔
import random
time.sleep(random.uniform(1, 3))

五、數據存儲與分析

5.1 存儲到CSV

df.to_csv('meituan_bbq.csv', index=False, encoding='utf_8_sig')

5.2 存儲到數據庫

import sqlite3

conn = sqlite3.connect('meituan.db')
df.to_sql('bbq_shops', conn, if_exists='replace', index=False)
conn.close()

六、完整代碼示例

import requests
import pandas as pd
import time
import random
from bs4 import BeautifulSoup
from fake_useragent import UserAgent

class MeituanSpider:
    def __init__(self):
        self.ua = UserAgent()
        self.base_url = "https://www.meituan.com/meishi/{}/"
        self.data = []
        
    def get_headers(self):
        return {
            'User-Agent': self.ua.random,
            'Referer': 'https://www.meituan.com',
            'Accept-Language': 'zh-CN,zh;q=0.9'
        }
    
    def parse_page(self, html):
        soup = BeautifulSoup(html, 'html.parser')
        items = soup.select('.common-list-item')
        
        for item in items:
            try:
                shop = {
                    'name': item.select_one('.shopname').text.strip(),
                    'score': item.select_one('.score').text.strip(),
                    'avg_price': item.select_one('.avg-price').text.strip(),
                    'address': item.select_one('.address').text.strip()
                }
                self.data.append(shop)
            except Exception as e:
                print(f"解析出錯: {e}")
    
    def crawl(self, city, pages=5):
        for page in range(1, pages+1):
            url = self.base_url.format(city)
            params = {'p': page}
            
            try:
                response = requests.get(
                    url,
                    headers=self.get_headers(),
                    params=params,
                    timeout=10
                )
                self.parse_page(response.text)
                print(f"第{page}頁抓取完成")
                time.sleep(random.uniform(1, 3))
            except Exception as e:
                print(f"請求失敗: {e}")
                
        return pd.DataFrame(self.data)

if __name__ == '__main__':
    spider = MeituanSpider()
    df = spider.crawl('beijing', pages=3)
    df.to_csv('beijing_bbq.csv', index=False)

七、數據分析示例

獲取數據后可以進行以下分析： 1. 各區域烤肉店分布熱力圖 2. 價格區間統計 3. 評分與銷量的關系 4. 優惠活動分析

import matplotlib.pyplot as plt

# 示例：繪制價格分布直方圖
df['avg_price'] = df['avg_price'].str.extract('(\d+)').astype(float)
df['avg_price'].hist(bins=20)
plt.title('北京烤肉人均消費分布')
plt.xlabel('價格(元)')
plt.ylabel('商家數量')
plt.show()

八、注意事項

1. 遵守法律法規：嚴格控制爬取頻率，建議間隔3秒以上
2. 數據清洗：美團數據可能存在HTML標簽或特殊字符
3. 異常處理：增加重試機制和超時設置
4. 更新維護：定期檢查選擇器是否失效

結語

本文介紹了使用Python爬取美團烤肉商家數據的完整流程。實際應用中，建議結合具體需求調整爬取策略，并始終遵守網絡爬蟲道德規范。隨著美團反爬技術的升級，可能需要不斷調整爬蟲方案。對于大規模商業用途的數據獲取，建議通過美團官方API合作渠道獲取數據。

注意：本文僅供技術學習參考，請勿用于非法用途。實際運行代碼可能需要根據美團頁面結構調整解析邏輯。 “`

這篇文章包含了約2200字，采用Markdown格式編寫，涵蓋了從準備工作到具體實現的完整流程，并提供了多個代碼示例和注意事項。您可以根據實際需要調整內容細節。