這篇文章主要講解了Python基于pandas如何爬取網頁表格數據，內容清晰明了，對此有興趣的小伙伴可以學習一下，相信大家閱讀完之后會有幫助。
該網站數據存在table標簽，直接用requests，需要結合bs4解析正則/xpath/lxml等，沒有幾行代碼是搞不定的。
今天介紹的黑科技是pandas自帶爬蟲功能，pd.read_html()，只需傳人url，一行代碼搞定。
原網頁結構如下：
python代碼如下：
import pandas as pd url='http://www.kuaidaili.com/free/' df=pd.read_html(url)[0] # [0]：表示第一個table，多個table需要指定，如果不指定默認第一個 # 如果沒有【0】，輸入dataframe格式組成的list df
輸出dataframe格式數據
再次保存到本地，csv格式，注意中文編碼：utf_8_sig
print(type(df))df.to_csv('free ip.csv',mode='a', encoding='utf_8_sig', header=1, index=0)print('done!')
查看csv文件
先來了解一下read_html函數的api:
pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
常用的參數：
注意：返回的結果是**DataFrame**組成的**list**。
若要dataframe，直接取list【0】
看完上述內容，是不是對Python基于pandas如何爬取網頁表格數據有進一步的了解，如果還想學習更多內容，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
