requests爬蟲如何處理文件下載

在使用Python的requests庫進行網頁爬取時，有時需要下載文件。以下是一個簡單的示例，說明如何使用requests庫下載文件：

首先，確保已經安裝了requests庫。如果沒有安裝，可以使用以下命令安裝：

pip install requests

接下來，編寫一個簡單的Python腳本來下載文件：

import requests

def download_file(url, file_path):
    response = requests.get(url, stream=True)

    if response.status_code == 200:
        with open(file_path, 'wb') as file:
            for chunk in response.iter_content(chunk_size=8192):
                file.write(chunk)
        print(f"文件已成功下載到 {file_path}")
    else:
        print(f"下載失敗，狀態碼：{response.status_code}")

# 使用示例
url = "https://example.com/path/to/your/file.txt"
file_path = "local_file.txt"
download_file(url, file_path)

在這個示例中，我們定義了一個名為download_file的函數，該函數接受兩個參數：文件的URL（url）和要將文件保存到本地的路徑（file_path）。

我們使用requests.get()函數獲取文件內容，并將stream參數設置為True以便分塊下載。然后，我們檢查響應的狀態碼是否為200（表示請求成功）。如果是，我們以二進制寫入模式打開本地文件，并使用response.iter_content()函數分塊寫入文件內容。最后，我們關閉文件并打印下載成功的消息。

在使用示例中，我們提供了文件的URL和要將文件保存到本地的路徑，然后調用download_file()函數來下載文件。