python代理ip爬蟲有何方法

在Python中，使用代理IP進行爬蟲可以避免被目標網站封禁。以下是一些使用代理IP的爬蟲方法：

1. 使用requests庫：

import requests

proxies = {
  'http': 'http://代理IP:端口',
  'https': 'https://代理IP:端口',
}

url = '目標網址'
response = requests.get(url, proxies=proxies)
print(response.text)

2. 使用Scrapy框架：

首先，在settings.py文件中配置代理：

HTTP_PROXY = 'http://代理IP:端口'

DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 100,
}

然后，創建一個名為middlewares.py的文件，定義一個中間件來處理代理：

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        request.meta['proxy'] = spider.settings.get('HTTP_PROXY')

最后，在爬蟲文件中，你可以使用response.meta['proxy']來獲取代理IP。

3. 使用http.client庫：

import http.client

proxy_server = "http://代理IP:端口"
conn = http.client.HTTPConnection(proxy_server)
conn.set_tunnel(proxy_server)

url = "目標網址"
path = "/".join(url.split("/")[:3]) + "/" + url.split("/")[-1]
headers = {
    "Host": url.split("/")[2],
}
conn.request("GET", path, headers=headers)
response = conn.getresponse()
print(response.read().decode())

4. 使用第三方庫requests-proxy：

首先，安裝requests-proxy庫：

pip install requests-proxy

然后，使用requests庫并設置代理：

import requests
from requests_proxy import ProxyManager

proxies = ProxyManager("http://代理IP:端口")
url = "目標網址"
response = requests.get(url, proxies=proxies)
print(response.text)

請注意，這些方法都需要你有一個可用的代理IP。你可以從免費或付費的代理IP提供商處獲取代理IP。在使用代理IP時，請確保遵守目標網站的爬蟲政策和法律法規。