「docker實戰篇」python的docker爬蟲技術-導學（一）

原創文章，歡迎轉載。轉載請注明：轉載自IT人故事會，謝謝！
原文鏈接地址：「docker實戰篇」python的docker爬蟲技術-導學（一）

這個專輯開始從環境的搭建到app數據抓取的整套的實戰流程。

我們會學到什么？

老鐵，只有個電腦沒有手機怎么辦，沒事我想到了用模擬器，說實話模擬器沒有手機爬的效率快，但是模擬器都會了手機還是問題不？

• 安卓模擬器的搭建
• 抓包工具
• 自動化控制工具使用

  模擬點擊，模擬輸入等功能

• python編寫爬蟲app數據
• 基于docker的多app端數據抓取系統

拿到數據能干什么？

• 做個互聯網項目，沒有基礎數據行不行

• 數據庫分析

  對比其他公司的狀態，對公司的運營有指導作用。分析用戶的行為和消費需求。

• 用戶畫像

  精準的定位用戶，對用戶進行分類。

• 統計系統

  拿到報表數據，作為指導

• 商業競爭

  通過對手app應用投放的數據，最近在某個城市啟動了那么新的產品，某個營銷數據和趨勢，可以了解對手在某個城市的運營狀況，從而相對的應對。

對于自己的好處

• 技能的提升

  web端的抓取思路很多，github一堆一堆的。但是app抓取應用數據的技能很少。

• 面試必問
  1. 如何抓取App應用的數據？
  2. 抓取過哪些應用上的數據？
  3. 抓包工具如何使用？

App的數據好抓嗎？

既簡單又困難

• 簡單

  app里的數據比web端更容易抓取，反爬能力也沒那么強。大部分都是http或者https協議，返回的數據類型大多數為json。直接解析json就可以了。

• 困難
  1. 可能需要適當的反編譯，解析出來加密算法并抓取信息
  2. 可能加固了，需要脫殼，然后反編譯，分析出加密算法并抓取信息
  3. 需要破解通過各式各樣的證書，簽名，設備綁定等方法，找到隱藏加密算法

python爬蟲工程師需要的技能點

1. python爬蟲開發經驗
2. java開發經驗
3. android開發經驗
4. app 逆向
5. app 脫殼
6. 破解加密算法

最終目的

python自動化應用，抓包工具，解析app應用的方法來進行數據的抓取。不需要破解加密算法。

PS：之前也學過一段時間python，爬過一些數據和app，公司目前還停留在手動點擊的測試里，同事也催我幫忙寫套教程，最好是圍繞docker的完成python的自動化測試，使用app測試工具appium。就開始行動了。里面可是有很多的灰色技術，潮流技術，多工具對比，哈哈。希望老鐵可以get到！