Python爬蟲中AES的案例分析

# Python爬蟲中AES的案例分析

## 引言

在網絡爬蟲開發中，數據加密與解密是常見的反爬對抗場景。AES（Advanced Encryption Standard）作為對稱加密算法的代表，被廣泛應用于網站數據保護。本文將通過具體案例，分析Python爬蟲如何應對AES加密數據，包含逆向工程思路和實戰代碼示例。

---

## 一、AES加密基礎

### 1.1 算法特點
- **對稱加密**：加密/解密使用相同密鑰
- **塊加密**：固定長度（128bit）數據塊處理
- **工作模式**：常見CBC/ECB/GCM等模式
- **填充方式**：PKCS5/PKCS7等

### 1.2 典型應用場景
1. 接口參數加密
2. 本地存儲數據加密
3. 網絡傳輸數據保護

---

## 二、逆向分析案例

### 2.1 案例背景
分析某電商網站商品列表接口，發現返回數據為加密字符串：
```python
import requests
response = requests.get("https://example.com/api/products")
print(response.text)  # 輸出：U2FsdGVkX1+2ZJj7V4Q7N3X5w1p9z...

2.2 密鑰定位

通過瀏覽器開發者工具分析： 1. 搜索關鍵詞：查找encrypt/decrypt/AES等關鍵字 2. 調用堆棧：跟蹤XHR請求的調用過程 3. 全局斷點：在CryptoJS等加密庫設置斷點

最終在common.js中發現關鍵代碼：

function decrypt(data) {
    var key = CryptoJS.enc.Utf8.parse("7a326c416e675265");
    var iv = CryptoJS.enc.Utf8.parse("1234567890123456");
    return CryptoJS.AES.decrypt(data, key, {iv: iv}).toString();
}

2.3 參數確認

• 加密模式：CBC（需要IV向量）
• 密鑰長度：128bit（16字節）
• 填充方式：PKCS7（CryptoJS默認）

三、Python解密實現

3.1 安裝依賴庫

pip install pycryptodome

3.2 解密代碼實現

from Crypto.Cipher import AES
from Crypto.Util.Padding import unpad
import base64

def decrypt_data(encrypted_data):
    key = b"7a326c416e675265"  # 與JS代碼一致
    iv = b"1234567890123456"   # 初始化向量
    
    # Base64解碼
    encrypted_bytes = base64.b64decode(encrypted_data)
    
    # 創建解密器
    cipher = AES.new(key, AES.MODE_CBC, iv)
    
    # 解密并去除填充
    decrypted_data = unpad(cipher.decrypt(encrypted_bytes), AES.block_size)
    
    return decrypted_data.decode('utf-8')

# 示例使用
encrypted_str = "U2FsdGVkX1+2ZJj7V4Q7N3X5w1p9z..."
print(decrypt_data(encrypted_str))

3.3 動態密鑰處理

當密鑰動態生成時，需要逆向密鑰生成邏輯：

# 假設密鑰通過日期生成
import hashlib
from datetime import datetime

def get_dynamic_key():
    today = datetime.now().strftime("%Y-%m-%d")
    return hashlib.md5(today.encode()).hexdigest()[:16]

四、常見問題與解決方案

4.1 報錯處理

4.2 性能優化

1. 使用aiohttp+asyncio實現異步解密
2. 對解密結果進行緩存
3. 多線程處理批量數據

五、進階技巧

5.1 內存dump分析

當密鑰被混淆時，可使用： - Chrome Memory Tab - process.memory()（Node.js環境） - frida動態注入

5.2 WebAssembly分析

現代網站可能使用WASM進行加密：

import wasmer

with open('encrypt.wasm', 'rb') as f:
    wasm_bytes = f.read()

module = wasmer.Module(wasm_bytes)
instance = wasmer.Instance(module)

結語

AES解密是爬蟲開發中的高頻需求，核心在于： 1. 準確識別加密參數（key/iv/mode） 2. 完美復現加密邏輯 3. 處理各類邊界情況

隨著網站防護升級，建議持續關注WebAssembly、OB混淆等新技術動向。完整代碼示例已上傳至GitHub倉庫（示例鏈接）。

聲明：本文僅用于技術學習，請遵守相關法律法規。 “`

注：實際文章可根據具體案例補充以下內容： 1. 更詳細的逆向過程截圖 2. 性能測試數據對比 3. 不同工作模式（如GCM）的處理方案 4. 與RSA等非對稱加密的混合場景