python爬蟲中常用的函數有以下幾種
1.urlopen函數
urlopen()函數是創建一個表示遠程url的類文件對象，然后像本地文件一樣操作這個類文件對象來獲取遠程數據。
urlopen()函數語法：
urllib.urlopen(url[, data[, proxies]])
參數：
url：外部或者本地url。
data：表示以post方式提交到url的數據。
proxies：用于設置代理。
2.urlretrieve函數
urlretrieve()函數的作用是直接將遠程數據下載到本地。
urlretrieve()函數語法：
urllib.urlretrieve(url[, filename[, reporthook[, data]]])
參數：
url：外部或者本地url。
filename：指定了保存到本地的路徑。
reporthook：是一個回調函數，當連接上服務器、以及相應的數據塊傳輸完畢的時候會觸發該回調。
data：指post到服務器的數據。
3.request函數
request()函數是用于構造一個請求，可以是get\post\put請求等。
request()函數參數：
url：請求URL。
params：請求參數，字典類型，常用于發送 GET 請求時使用。
timeout：超時時間 ，整數類型。
headers：設置請求頭。
auth：指定登陸時的賬號和密碼，元祖類型。
verify:請求網站時是否需要驗證，布爾類型。
proxies:設置代理。
cookies：cookies值。
