溫馨提示×

溫馨提示×

您好,登錄后才能下訂單哦!

密碼登錄×
登錄注冊×
其他方式登錄
點擊 登錄注冊 即表示同意《億速云用戶服務條款》

python 爬蟲如何使用代理IP

發布時間:2020-08-05 02:56:17 來源:ITPUB博客 閱讀:306 作者:mmz_77 欄目:編程語言

作為一名數據采集者,我們都是知道,一個網站要是頻繁訪問都會被封IP ,那要怎么解決這個問題呢?不可能一直頻繁的更換設備,不光數據不能同步,這些設備的成本也是無法預計的,所以這個時候就需要代理 IP 了。以億牛云 (https://www.16yun.cn/) 代理為例,代理 IP python 的使用 .

                                                            

億牛云官網提供了兩種模式的代理使用方式

1. 優質 API 代理:通過 api 連接獲取代理信息,返回的是 ip 和端口。     

2. 動態轉發隧道代理:接入固定代理服務器,動態轉發請求,無須切換 IP ,連接上代理服務器后,每一個請求都是一個隨機 IP ,按照每秒的請求量進行收費。

 1 先獲取 api 連接

在后臺直接把代理連接拷貝到程序里面

import requests

# 生成的 API 鏈接

url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12

resp = requests.get(url=url)

if resp.status_code == 200:

    data_json = resp.text

    for d in data_json['msg']:

        port = d['port']

        ip = d['ip']

        full_ip = ip + ':' + port

        print(full_ip)

程序配置好后直接啟動程序就可以獲取代理ip ,然后把代理 ip 拼到請求參數里面就可以進行數據采集了。

向AI問一下細節

免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。

AI

亚洲午夜精品一区二区_中文无码日韩欧免_久久香蕉精品视频_欧美主播一区二区三区美女