python爬蟲怎么設置每個代理ip

這篇文章主要介紹了python爬蟲怎么設置每個代理ip，具有一定借鑒價值，感興趣的朋友可以參考下，希望大家閱讀完這篇文章之后大有收獲，下面讓小編帶著大家一起了解一下。

python爬蟲設置每個代理ip的方法：

1.添加一段代碼，設置代理，每隔一段時間換一個代理。

urllib2 默認會使用環境變量 http_proxy 來設置 HTTP Proxy。假如一個網站它會檢測某一段時間某個 IP 的訪問次數，如果訪問次數過多，它會禁止你的訪問。所以你可以設置一些代理服務器來幫助你做工作，每隔一段時間換一個代理，網站君都不知道是誰在搗鬼了，這酸爽！ 下面一段代碼說明了代理的設置用法。

import urllib2
enable_proxy = True
proxy_handler = urllib2.ProxyHandler({"http" : 'http://some-proxy.com:8080'})
null_proxy_handler = urllib2.ProxyHandler({})
if enable_proxy:
    opener = urllib2.build_opener(proxy_handler)
else:
    opener = urllib2.build_opener(null_proxy_handler)
urllib2.install_opener(opener)

2.Timeout 設置，可以解決一些網站出現響應過慢而造成的影響問題。

之前已經說過urlopen 方法了，第三個參數就是 timeout 的設置，可以設置等待多久超時，為了解決一些網站實在響應過慢而造成的影響。 例如下面的代碼，如果第二個參數 data 為空那么要特別指定是 timeout 是多少，寫明形參，如果 data 已經傳入，則不必聲明。

import urllib2
response = urllib2.urlopen('http://www.baidu.com', timeout=10)

import urllib2
response = urllib2.urlopen('http://www.baidu.com',data, 10)

感謝你能夠認真閱讀完這篇文章，希望小編分享的“python爬蟲怎么設置每個代理ip”這篇文章對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，更多相關知識等著你來學習!