1.掌握python的基本語法知識
2.學會如何抓取HTML頁面:
HTTP請求的處理:urlib、urlib2 及requests(reqests對urllib和urllib2進行了封裝
，功能相當于二者的和)
處理后的請求可以模擬瀏覽器發送的請求，獲取瀏覽器的響應
3.解析服務器響應的內容:
re、xpath、BeautifulSoup4(bs4)、jsonpath、等
給我們需要的數據定義一個匹配規則，符合這個規則的數據將會被匹配
4.如何采集動態HTML、驗證碼的處理:
通用的動態頁面采集：Selenium + PhantomJS(模仿×××面瀏覽器，加載js等頁面效果)
機器圖像識別系統:Tesseract(谷歌維護的一個庫)可以處理簡單的驗證碼
專業的打碼平臺(后臺有真人進行打碼)可以處理復雜的驗證碼
5.Scrapy框架:(Scrapy,Pyspider):
高定制性及高性能(異步網絡框架 twisted),所以下載數據速度非?？?，提供了數據存儲
、數據下載和提取規則等組件
6.分布式策略(功能強大,但是成本高)：
scrapy-redis、以Redis數據庫為核心的一套組件，讓scrapy框架支持分布式的功能，主
主要在redis里做請求指紋去重、請求分配、數據臨時存儲
7.爬蟲、反爬蟲、反反爬蟲 之間的斗爭
User-Agent、代理、驗證碼、動態數據加載、加密數據(加密方法最終隱藏在網站中的
某個JS腳本中)
關于爬蟲和反爬蟲之間的斗爭，最終勝利的一定是我們的爬蟲，因為用戶可以看到的數
據，最后都可以爬到
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
