Pandas如何借助Python爬蟲爬取HTML網頁表格保存到Excel文件

Pandas如何借助Python爬蟲爬取HTML網頁表格保存到Excel文件

在數據分析和處理中，Pandas是一個非常強大的Python庫，而爬蟲技術則可以幫助我們從網頁中提取所需的數據。本文將介紹如何結合Pandas和Python爬蟲技術，從HTML網頁中提取表格數據并保存到Excel文件中。

1. 準備工作

首先，我們需要安裝必要的Python庫。除了Pandas，我們還需要requests和BeautifulSoup庫來幫助我們抓取和解析網頁內容。此外，openpyxl庫可以幫助我們將數據保存到Excel文件中。

pip install pandas requests beautifulsoup4 openpyxl

2. 抓取網頁內容

使用requests庫可以輕松地抓取網頁的HTML內容。以下是一個簡單的示例，展示如何抓取網頁內容：

import requests

url = 'https://example.com/table-page'
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
else:
    print(f"Failed to retrieve the webpage. Status code: {response.status_code}")

3. 解析HTML并提取表格

接下來，我們使用BeautifulSoup庫來解析HTML內容，并提取其中的表格數據。Pandas提供了一個非常方便的函數read_html，可以直接將HTML中的表格轉換為DataFrame。

from bs4 import BeautifulSoup
import pandas as pd

soup = BeautifulSoup(html_content, 'html.parser')
tables = pd.read_html(str(soup))

# 假設我們只對第一個表格感興趣
df = tables[0]

pd.read_html函數會返回一個包含所有表格的列表。我們可以通過索引選擇特定的表格。

4. 數據處理與清洗

在將數據保存到Excel之前，我們可能需要對數據進行一些清洗和處理。例如，刪除不必要的列、處理缺失值、重命名列等。

# 刪除不需要的列
df = df.drop(columns=['Unnamed: 0'])

# 處理缺失值
df = df.fillna(0)

# 重命名列
df = df.rename(columns={'OldName': 'NewName'})

5. 保存到Excel文件

最后，我們使用Pandas的to_excel函數將DataFrame保存到Excel文件中。openpyxl庫將幫助我們處理Excel文件的讀寫操作。

output_file = 'output.xlsx'
df.to_excel(output_file, index=False, engine='openpyxl')

print(f"Data saved to {output_file}")

6. 完整代碼示例

以下是完整的代碼示例，展示了如何從網頁抓取表格數據并保存到Excel文件中：

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 抓取網頁內容
url = 'https://example.com/table-page'
response = requests.get(url)

if response.status_code == 200:
    html_content = response.text
else:
    print(f"Failed to retrieve the webpage. Status code: {response.status_code}")
    exit()

# 解析HTML并提取表格
soup = BeautifulSoup(html_content, 'html.parser')
tables = pd.read_html(str(soup))

# 假設我們只對第一個表格感興趣
df = tables[0]

# 數據處理與清洗
df = df.drop(columns=['Unnamed: 0'])
df = df.fillna(0)
df = df.rename(columns={'OldName': 'NewName'})

# 保存到Excel文件
output_file = 'output.xlsx'
df.to_excel(output_file, index=False, engine='openpyxl')

print(f"Data saved to {output_file}")

7. 總結

通過結合Pandas和Python爬蟲技術，我們可以輕松地從網頁中提取表格數據并保存到Excel文件中。這種方法不僅適用于簡單的數據抓取任務，還可以擴展到更復雜的數據處理和分析場景。希望本文能幫助你更好地利用Pandas和Python爬蟲技術來處理網頁數據。