python數據爬蟲基本流程是什么

小編給大家分享一下python數據爬蟲基本流程是什么，希望大家閱讀完這篇文章后大所收獲，下面讓我們一起去探討吧！

爬蟲基本流程

1、發起請求

通過url向服務器發送requests請求，請求可以包含額外的header信息。

2、獲取響應內容

如果服務器正常響應，那么將受到一個response，response即為我們所請求的網頁內容，可能包含html\json\二進制數據(圖片、視頻)等。

3、解析內容

如果是html代碼則可以使用網頁解析器進行解析；如果是json數據則可以轉換成json對象進行解析；如果是二進制數據則可以保存到文件進行進一步的處理。

4、保存數據

可以保存到本地文件，也可以保存到數據庫(mysql\redis\mongodb等)。

5、requests請求

當我們通過瀏覽器向服務器發送requests請求時，這個request包含什么內容？可以通過chrome瀏覽器的開發人員工具(F12)查看。

6、請求方式

最常用的請求方式包括get請求和post請求。

7、uri統一資源定位符

 一個網址、一個視頻、一個圖片都可以用uri去定義

8、requests headers

請求頭，包括這次請求的類型，cookie信息以及瀏覽器類型等。

請求頭在我們進行網頁抓取的時候，服務器會通過解析請求頭來進行信息的審核，判斷請求是否為合法請求。所以當我們通過程序偽裝瀏覽器進行請求的時候可以設置請求頭的信息。

9、請求體

post請求會把用戶信息包裝在form-data里面進行提交，因此相比于get請求，post請求的Headers標簽的內容會多出Form Data這個信息包。

10、response

響應狀態：Headers中的General可以看到status code，使用數字代碼表示對于狀態，200表示成功，301跳轉，404找不到網頁，502服務器錯誤等。

11、響應頭

包括內容的類型，cookie信息等。

12、響應體

請求的目的就是為了得到響應體，包括html代碼，json及二進制數據等。

13、requests模塊

安裝使用pip install requests即可。

看完了這篇文章，相信你對python數據爬蟲基本流程是什么有了一定的了解，想了解更多相關知識，歡迎關注億速云行業資訊頻道，感謝各位的閱讀！