本篇內容主要講解“Python爬蟲所需要的爬蟲代理ip是什么”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“Python爬蟲所需要的爬蟲代理ip是什么”吧!
1 代理類型
代理IP一共可以分成4種類型。前面提到過的透明代理IP，匿名代理IP，高匿名代理IP，還有一種就是混淆代理IP。最基礎的安全程度來說呢，他們的排列順序應該是這個樣子的高匿 > 混淆 > 匿名 > 透明。
2 代理原理
代理類型主要取決于代理服務器端的配置。不同配置會形成不同的代理類型。在配置中，這三個變量REMOTE_ADDR，HTTP_VIA，HTTP_X_FORWARDED_FOR 是決定性因素。
REMOTE_ADDR
REMOTE_ADDR 表示客戶端的 IP，但是它的值不是由客戶端提供的，而是服務器根據客戶端的 IP 指定的。
如果使用瀏覽器直接訪問某個網站，那么網站的 web 服務器（Nginx、Apache等）就會把 REMOTE_ADDR 設為客戶端的 IP 地址。
如果我們給瀏覽器設置代理，我們訪問目標網站的請求會先經過代理服務器，然后由代理服務器將請求轉化到目標網站。那么網站的 web 代理服務器就會把 REMOTE_ADDR 設為代理服務器的 IP。
X-Forwarded-For（XFF）
X-Forwarded-For 是一個 HTTP 擴展頭部，用來表示 HTTP 請求端真實 IP。當客戶端使用了代理時，web 代理服務器就不知道客戶端的真實 IP 地址。為了避免這個情況，代理服務器通常會增加一個 X-Forwarded-For 的頭信息，把客戶端的 IP 添加到頭信息里面。
X-Forwarded-For 請求頭格式如下：
X-Forwarded-For: client, proxy1, proxy2
client 表示客戶端的 IP 地址；proxy1 是離服務端最遠的設備 IP; proxy2 是次級代理設備的 IP；從格式中，可以看出從 client 到 server 是可以有多層代理的。
如果一個 HTTP 請求到達服務器之前，經過了三個代理 Proxy1、Proxy2、Proxy3，IP 分別為 IP1、IP2、IP3，用戶真實 IP 為 IP0，那么按照 XFF 標準，服務端最終會收到以下信息：
X-Forwarded-For: IP0, IP1, IP2
Proxy3 直連服務器，它會給 XFF 追加 IP2，表示它是在幫 Proxy2 轉發請求。列表中并沒有 IP3，IP3 可以在服務端通過 Remote Address 字段獲得。我們知道 HTTP 連接基于 TCP 連接，HTTP 協議中沒有 IP 的概念，Remote Address 來自 TCP 連接，表示與服務端建立 TCP 連接的設備 IP，在這個例子里就是 IP3。
HTTP_VIA
via 是 HTTP 協議里面的一個header,記錄了一次 HTTP 請求所經過的代理和網關，經過1個代理服務器，就添加一個代理服務器的信息，經過2個就添加2個。
3 代理類型區別
透明代理(Transparent Proxy)
代理服務器的配置如下：
REMOTE_ADDR = Proxy IP HTTP_VIA = Proxy IP HTTP_X_FORWARDED_FOR = Your IP
透明代理雖然可以直接“隱藏”客戶端的 IP 地址，但是還是可以從HTTP_X_FORWARDED_FOR來查到客戶端的 IP 地址。
匿名代理(Anonymous Proxy)
代理服務器的配置如下：
REMOTE_ADDR = proxy IP HTTP_VIA = proxy IP HTTP_X_FORWARDED_FOR = proxy IP
匿名代理能提供隱藏客戶端 IP 地址的功能。使用匿名代理，服務器能知道客戶端使用用了代理，當無法知道客戶端真實 IP 地址。
混淆代理(Distorting Proxy)
代理服務器的配置如下：
REMOTE_ADDR = Proxy IP HTTP_VIA = Proxy IP HTTP_X_FORWARDED_FOR = Random IP address
與匿名代理的原理相似，但是會偽裝得更逼真。如果客戶端使用了混淆代理，服務器還是能知道客戶端在使用代理，但是會得到一個假的客戶端 IP 地址。
高匿代理(Elite Proxy 或 High Anonymity Proxy)
代理服務器的配置如下：
REMOTE_ADDR = Proxy IP HTTP_VIA = not determined HTTP_X_FORWARDED_FOR = not determined
高匿代理既能讓服務器不清楚客戶端是否在使用代理，也能保證服務器獲取不到客戶端的真實 IP 地址。
4 代理的選擇
普通的匿名代理IP能隱藏客戶機的真是IP，但是也會改變我們的請求信息，服務器端有可能會認為我們使用了代理。不過使用此種代理時，雖然被訪問的網站不能知道客戶端的 IP 地址，但仍然可以知道你在使用代理，當然某些能夠偵測 IP 的網頁仍然可以查到客戶端的 IP。
而高度匿名代理不改變客戶機的請求，這樣在服務器看來就像有個真正的客戶瀏覽器在訪問它，這時客戶的真實IP是隱藏的，服務器端不會認為我們使用了代理。
因此，爬蟲程序需要使用到爬蟲代理ip 時，盡量選擇普通匿名代理和高匿名代理。另外，如果要保證數據不被代理服務器知道，推薦使用 HTTPS 協議的代理。
到此，相信大家對“Python爬蟲所需要的爬蟲代理ip是什么”有了更深的了解，不妨來實際操作一番吧！這里是億速云網站，更多相關內容可以進入相關頻道進行查詢，關注我們，繼續學習！
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
