Python爬蟲Requests庫如何使用

Python爬蟲Requests庫如何使用

在Python中，Requests庫是一個非常流行的HTTP庫，用于發送HTTP請求。它簡化了與Web服務的交互，使得發送HTTP請求變得非常簡單和直觀。本文將介紹如何使用Requests庫進行基本的HTTP請求操作，包括GET、POST請求，以及如何處理響應。

安裝Requests庫

在開始使用Requests庫之前，首先需要確保它已經安裝在你的Python環境中。你可以使用pip來安裝它：

pip install requests

發送GET請求

GET請求是最常見的HTTP請求類型，通常用于從服務器獲取數據。使用Requests庫發送GET請求非常簡單：

import requests

# 發送GET請求
response = requests.get('https://api.github.com')

# 打印響應狀態碼
print(response.status_code)

# 打印響應內容
print(response.text)

在上面的代碼中，我們向GitHub的API發送了一個GET請求，并打印了響應的狀態碼和內容。

處理響應

Requests庫的響應對象包含了服務器返回的所有信息。以下是一些常用的屬性和方法：

• response.status_code：響應的HTTP狀態碼（例如200表示成功，404表示未找到）。
• response.text：響應的內容，通常是字符串形式。
• response.json()：如果響應內容是JSON格式，可以使用此方法將其解析為Python字典。
• response.headers：響應頭信息，以字典形式返回。

例如，我們可以將GitHub API的響應內容解析為JSON：

import requests

response = requests.get('https://api.github.com')

# 將響應內容解析為JSON
data = response.json()

# 打印解析后的數據
print(data)

發送POST請求

POST請求通常用于向服務器提交數據。使用Requests庫發送POST請求也非常簡單：

import requests

# 要提交的數據
payload = {'key1': 'value1', 'key2': 'value2'}

# 發送POST請求
response = requests.post('https://httpbin.org/post', data=payload)

# 打印響應內容
print(response.text)

在上面的代碼中，我們向https://httpbin.org/post發送了一個POST請求，并提交了一些數據。服務器返回的響應內容包含了我們提交的數據。

發送JSON數據

如果你需要發送JSON格式的數據，可以使用json參數：

import requests

# 要提交的JSON數據
payload = {'key1': 'value1', 'key2': 'value2'}

# 發送POST請求，提交JSON數據
response = requests.post('https://httpbin.org/post', json=payload)

# 打印響應內容
print(response.text)

處理請求頭

有時，你可能需要在請求中添加自定義的HTTP頭。你可以通過headers參數來實現：

import requests

# 自定義請求頭
headers = {
    'User-Agent': 'MyApp/1.0',
    'Authorization': 'Bearer YOUR_ACCESS_TOKEN'
}

# 發送帶有自定義頭的GET請求
response = requests.get('https://api.github.com', headers=headers)

# 打印響應內容
print(response.text)

處理超時

為了防止請求長時間掛起，你可以設置請求的超時時間：

import requests

try:
    # 設置超時時間為5秒
    response = requests.get('https://api.github.com', timeout=5)
    print(response.text)
except requests.Timeout:
    print("請求超時")

處理異常

在實際應用中，網絡請求可能會遇到各種問題，如連接錯誤、超時等。Requests庫提供了異常處理機制，可以幫助你更好地處理這些情況：

import requests

try:
    response = requests.get('https://api.github.com', timeout=5)
    response.raise_for_status()  # 如果響應狀態碼不是200，拋出異常
except requests.exceptions.HTTPError as errh:
    print(f"HTTP錯誤: {errh}")
except requests.exceptions.ConnectionError as errc:
    print(f"連接錯誤: {errc}")
except requests.exceptions.Timeout as errt:
    print(f"超時錯誤: {errt}")
except requests.exceptions.RequestException as err:
    print(f"請求錯誤: {err}")

總結

Requests庫是Python中用于發送HTTP請求的強大工具。通過本文的介紹，你應該已經掌握了如何使用Requests庫發送GET和POST請求，處理響應，設置請求頭，處理超時和異常等基本操作。希望這些內容能幫助你在實際項目中更好地使用Requests庫進行網絡爬蟲開發。