這篇文章主要介紹了python爬蟲設置代理ip的方法，具有一定借鑒價值，需要的朋友可以參考下。希望大家閱讀完這篇文章后大有收獲。下面讓小編帶著大家一起了解一下。
python爬蟲設置代理ip的方法：首先寫入獲取到的ip地址到proxy；然后用百度檢測ip代理是否成功，并請求網頁傳的參數；最后發送get請求，并獲取返回頁面保存到本地。
python爬蟲設置代理ip的方法：
設置ip代理是爬蟲必不可少的技巧；
查看本機ip地址；打開百度，輸入“ip地址”，可以看到本機的IP地址；
本文使用的是goubanjia.com里面的免費ip；
使用時注意要注意傳輸協議是http還是https，代碼如下；
# 用到的庫
import requests
# 寫入獲取到的ip地址到proxy
proxy = {
'https':'221.178.232.130:8080'
}
# 用百度檢測ip代理是否成功
url = 'https://www.baidu.com/s?'
# 請求網頁傳的參數
params={
'wd':'ip地址'
}
# 請求頭
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
}
# 發送get請求
response = requests.get(url=url,headers=headers,params=params,proxies=proxy)
# 獲取返回頁面保存到本地，便于查看
with open('ip.html','w',encoding='utf-8') as f:
f.write(response.text)打開存入的“ip.html”查看內容如下；
感謝你能夠認真閱讀完這篇文章，希望小編分享python爬蟲設置代理ip的方法內容對大家有幫助，同時也希望大家多多支持億速云，關注億速云行業資訊頻道，遇到問題就找億速云，詳細的解決方法等著你來學習!
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
