Python怎么設置使用HTTP代理

Python怎么設置使用HTTP代理

在網絡編程和數據抓取中，使用HTTP代理是一種常見的技術手段。代理服務器可以幫助我們隱藏真實的IP地址、繞過訪問限制、提高訪問速度等。Python作為一門強大的編程語言，提供了多種方式來設置和使用HTTP代理。本文將詳細介紹如何在Python中設置和使用HTTP代理。

1. 使用requests庫設置HTTP代理

requests是Python中最常用的HTTP庫之一，它提供了簡單易用的API來發送HTTP請求。通過requests庫，我們可以輕松地設置HTTP代理。

1.1 基本用法

import requests

proxies = {
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
}

response = requests.get("http://example.com", proxies=proxies)
print(response.text)

在上面的代碼中，我們定義了一個proxies字典，其中http和https分別指定了HTTP和HTTPS請求的代理服務器地址和端口。然后，我們通過requests.get方法發送請求，并將proxies參數傳遞給它。

1.2 使用環境變量

除了在代碼中直接指定代理，requests庫還支持通過環境變量來設置代理。我們可以通過設置HTTP_PROXY和HTTPS_PROXY環境變量來指定代理服務器。

import os
import requests

os.environ["HTTP_PROXY"] = "http://10.10.1.10:3128"
os.environ["HTTPS_PROXY"] = "http://10.10.1.10:1080"

response = requests.get("http://example.com")
print(response.text)

1.3 認證代理

如果代理服務器需要認證，我們可以在代理URL中包含用戶名和密碼。

import requests

proxies = {
    "http": "http://user:password@10.10.1.10:3128",
    "https": "http://user:password@10.10.1.10:1080",
}

response = requests.get("http://example.com", proxies=proxies)
print(response.text)

2. 使用urllib庫設置HTTP代理

urllib是Python標準庫中的一個模塊，提供了處理URL的功能。雖然urllib的API相對較為底層，但它同樣支持設置HTTP代理。

2.1 基本用法

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
})

opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)

response = urllib.request.urlopen("http://example.com")
print(response.read().decode("utf-8"))

在上面的代碼中，我們首先創建了一個ProxyHandler對象，并指定了代理服務器的地址和端口。然后，我們使用build_opener方法創建了一個opener對象，并通過install_opener方法將其安裝為全局的opener。最后，我們使用urlopen方法發送請求。

2.2 認證代理

如果代理服務器需要認證，我們可以使用HTTPBasicAuthHandler來處理認證。

import urllib.request

proxy_handler = urllib.request.ProxyHandler({
    "http": "http://10.10.1.10:3128",
    "https": "http://10.10.1.10:1080",
})

auth_handler = urllib.request.HTTPBasicAuthHandler()
auth_handler.add_password(realm="Proxy Realm",
                          uri="http://example.com",
                          user="user",
                          passwd="password")

opener = urllib.request.build_opener(proxy_handler, auth_handler)
urllib.request.install_opener(opener)

response = urllib.request.urlopen("http://example.com")
print(response.read().decode("utf-8"))

3. 使用http.client庫設置HTTP代理

http.client是Python標準庫中的一個模塊，提供了底層的HTTP客戶端功能。雖然它的API較為復雜，但它同樣支持設置HTTP代理。

3.1 基本用法

import http.client

conn = http.client.HTTPConnection("10.10.1.10", 3128)
conn.set_tunnel("example.com")

conn.request("GET", "/")
response = conn.getresponse()
print(response.read().decode("utf-8"))

在上面的代碼中，我們首先創建了一個HTTPConnection對象，并指定了代理服務器的地址和端口。然后，我們使用set_tunnel方法設置了目標主機。最后，我們使用request方法發送請求，并通過getresponse方法獲取響應。

3.2 認證代理

如果代理服務器需要認證，我們可以在請求頭中添加Proxy-Authorization字段。

import http.client
import base64

conn = http.client.HTTPConnection("10.10.1.10", 3128)
conn.set_tunnel("example.com")

headers = {
    "Proxy-Authorization": "Basic " + base64.b64encode(b"user:password").decode("utf-8")
}

conn.request("GET", "/", headers=headers)
response = conn.getresponse()
print(response.read().decode("utf-8"))

4. 使用aiohttp庫設置HTTP代理

aiohttp是一個異步的HTTP客戶端/服務器庫，適用于高性能的異步編程。它同樣支持設置HTTP代理。

4.1 基本用法

import aiohttp
import asyncio

async def fetch():
    async with aiohttp.ClientSession() as session:
        async with session.get("http://example.com", proxy="http://10.10.1.10:3128") as response:
            print(await response.text())

asyncio.run(fetch())

在上面的代碼中，我們使用aiohttp.ClientSession創建了一個會話，并通過proxy參數指定了代理服務器的地址和端口。

4.2 認證代理

如果代理服務器需要認證，我們可以在代理URL中包含用戶名和密碼。

import aiohttp
import asyncio

async def fetch():
    async with aiohttp.ClientSession() as session:
        async with session.get("http://example.com", proxy="http://user:password@10.10.1.10:3128") as response:
            print(await response.text())

asyncio.run(fetch())

5. 總結

本文介紹了在Python中設置和使用HTTP代理的幾種常見方法，包括使用requests、urllib、http.client和aiohttp庫。每種方法都有其適用的場景，開發者可以根據具體需求選擇合適的方式。通過合理使用HTTP代理，我們可以更好地控制網絡請求，提高程序的穩定性和安全性。