如何用Fiddler爬取APP的評論

# 如何用Fiddler爬取APP的評論

## 前言

在移動互聯網時代，用戶評論是了解APP使用體驗的重要數據來源。無論是產品優化、競品分析還是學術研究，獲取APP評論數據都極具價值。本文將詳細介紹如何利用Fiddler這款強大的抓包工具，捕獲APP評論接口數據并實現自動化采集。

## 一、準備工作

### 1.1 工具安裝
- **Fiddler Classic**：[官網下載](https://www.telerik.com/fiddler)（Windows平臺）
- **手機設備**：Android/iOS真機或模擬器
- **證書安裝**（HTTPS抓包必需）：
  - PC端：Fiddler安裝時會自動生成根證書
  - 移動端：訪問 `http://<電腦IP>:8888` 下載證書

### 1.2 網絡配置
1. 確保手機和電腦在同一局域網
2. 在Fiddler中開啟遠程連接：
   ```plaintext
   Tools > Options > Connections
   ? Allow remote computers to connect

1. 手機設置手動代理：
   • 服務器：電腦的局域網IP
   • 端口：8888（默認）

二、抓包實戰步驟

2.1 啟動抓包會話

1. 清空現有會話（Ctrl+X）
2. 打開目標APP，進入評論頁面
3. 滑動加載更多評論

2.2 識別關鍵請求

觀察抓包結果，重點關注： - 域名包含api、comment等關鍵詞的請求 - 請求方法通常為GET或POST - 響應內容為JSON格式（查看Inspectors > JSON）

典型特征示例：

{
  "code": 200,
  "data": {
    "comments": [
      {
        "user": "匿名用戶",
        "content": "非常好用！",
        "rating": 5
      }
    ]
  }
}

2.3 分析請求參數

右鍵目標請求 → Copy → Just Url 獲取完整API地址，常見參數包括： - page_size：每頁數量 - page_num：頁碼 - app_version：APP版本號 - timestamp：時間戳（可能需要簽名驗證）

三、數據自動化采集

3.1 導出接口定義

通過Fiddler的File > Export Sessions > All Sessions導出為.saz文件，或用Right-click > Save > Request保存為.txt

3.2 Python爬蟲示例

import requests
import json

headers = {
    "User-Agent": "Mozilla/5.0",
    "Authorization": "Bearer xxx"  # 可能需要認證
}

def get_comments(page=1):
    url = "https://api.example.com/comments"
    params = {
        "page": page,
        "size": 20
    }
    resp = requests.get(url, headers=headers, params=params)
    return resp.json()

# 分頁爬取
all_comments = []
for page in range(1, 6):
    data = get_comments(page)
    all_comments.extend(data['comments'])
    print(f"已獲取第{page}頁，累計{len(all_comments)}條評論")

# 保存數據
with open('comments.json', 'w', encoding='utf-8') as f:
    json.dump(all_comments, f, ensure_ascii=False)

3.3 反爬應對策略

• User-Agent：模擬APP原生請求頭
• 頻率控制：添加time.sleep(random.uniform(1,3))
• 簽名驗證：逆向分析APP的加密邏輯（可能需要反編譯）

四、注意事項

4.1 法律風險

• 僅采集公開數據，避免侵犯隱私
• 遵守目標網站的robots.txt協議
• 商業用途需獲得授權

4.2 技術限制

• 部分APP使用gRPC等非HTTP協議（需用Wireshark等工具）
• 數據加密（如SSL Pinning）需配合Xposed框架繞過

五、擴展應用

5.1 數據分析方向

1. 情感分析（NLP處理評論文本）
2. 評分分布統計
3. 版本更新前后的評價對比

5.2 可視化展示

import matplotlib.pyplot as plt

ratings = [c['rating'] for c in all_comments]
plt.hist(ratings, bins=5)
plt.title("APP評分分布")
plt.show()

結語

通過Fiddler抓包獲取APP評論數據，技術門檻較低但效果顯著。建議結合具體業務需求，構建自動化數據管道。隨著APP防護機制升級，可能需要持續更新技術方案。希望本教程能為您的數據采集工作提供實用參考。

提示：本文所有技術方法僅限合法用途，請遵守相關法律法規。 “`

（全文約1100字）