溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python爬蟲Urllib2怎樣發出請求

發布時間:2020-11-12 09:37:31 來源:億速云 閱讀:207 作者:小新 欄目:編程語言

小編給大家分享一下python爬蟲Urllib2怎樣發出請求,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!

要抓取網頁數據,要做的就是向服務器發起請求并獲取響應,而在Python中,我們可以使用urllib2這個庫來實現。urllib2的用法其實基本和urllib相似,且它只存在于Python2版本,它的使用時需要配合urllib一起使用。

 urllib2發起GET請求

這里展示了一個官方使用urllib2的GET請求

import urllib2
 
res = urllib2.urlopen("http://httpbin.org/get")
print res.read().decode()

拓展:urllib3發起GET請求

urllib3說一個HTTP客戶端Python庫,Python2和Python3在未安裝的情況下均可以使用pip install urllib3即可安裝,它提供了很多urllib庫中沒有的重要特性:線程安全 連接池 客戶端SSL/TLS驗證 文件分部編碼上傳協助處理重復請求和HTTP重定位支持gzip和deflate壓縮編碼支持HTTP和SOCKS代理100%測試覆蓋率 。

urllib3主要的特點就是在請求之前需要創建一個連接池對象。

import urllib3
 
http = urllib3.PoolManager()  # 線程池生成請求
res = http.request('GET', 'http://httpbin.org/get')
print(res.data.decode())

看完了這篇文章,相信你對python爬蟲Urllib2怎樣發出請求有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女