小編給大家分享一下python爬蟲Urllib2怎樣發出請求,希望大家閱讀完這篇文章后大所收獲,下面讓我們一起去探討吧!
要抓取網頁數據,要做的就是向服務器發起請求并獲取響應,而在Python中,我們可以使用urllib2這個庫來實現。urllib2的用法其實基本和urllib相似,且它只存在于Python2版本,它的使用時需要配合urllib一起使用。
urllib2發起GET請求
這里展示了一個官方使用urllib2的GET請求
import urllib2 res = urllib2.urlopen("http://httpbin.org/get") print res.read().decode()
拓展:urllib3發起GET請求
urllib3說一個HTTP客戶端Python庫,Python2和Python3在未安裝的情況下均可以使用pip install urllib3即可安裝,它提供了很多urllib庫中沒有的重要特性:線程安全 連接池 客戶端SSL/TLS驗證 文件分部編碼上傳協助處理重復請求和HTTP重定位支持gzip和deflate壓縮編碼支持HTTP和SOCKS代理100%測試覆蓋率 。
urllib3主要的特點就是在請求之前需要創建一個連接池對象。
import urllib3 http = urllib3.PoolManager() # 線程池生成請求 res = http.request('GET', 'http://httpbin.org/get') print(res.data.decode())
看完了這篇文章,相信你對python爬蟲Urllib2怎樣發出請求有了一定的了解,想了解更多相關知識,歡迎關注億速云行業資訊頻道,感謝各位的閱讀!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。