python request爬蟲如何進行數據清洗

在使用Python的requests庫進行網絡爬蟲時，數據清洗是一個非常重要的步驟，以確保你獲取的數據是準確和有用的。以下是一些常見的數據清洗步驟和技巧：

1. 解析HTML內容

首先，你需要使用一個庫來解析HTML內容，常用的庫有BeautifulSoup和lxml。

import requests
from bs4 import BeautifulSoup

url = 'http://example.com'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

2. 提取數據

提取數據通常是通過查找HTML中的特定標簽和屬性來完成的。

# 提取所有段落文本
paragraphs = soup.find_all('p')
for p in paragraphs:
    print(p.get_text())

3. 數據清洗

數據清洗包括去除空白、特殊字符、HTML標簽等。

import re

# 去除多余的空格和換行符
cleaned_text = ' '.join(p.get_text().split())

# 去除HTML標簽
cleaned_text = re.sub('<.*?>', '', cleaned_text)

# 去除特殊字符
cleaned_text = re.sub('[^a-zA-Z0-9\s]', '', cleaned_text)

4. 處理數據類型

有時候提取的數據可能是字符串或其他數據類型，需要進行相應的轉換。

# 將字符串轉換為整數
number = int(re.search(r'\d+', cleaned_text).group())

# 將字符串轉換為浮點數
float_number = float(re.search(r'\d+\.\d+', cleaned_text).group())

5. 數據存儲

清洗后的數據可以存儲在文件、數據庫或其他數據結構中。

# 存儲到CSV文件
import csv

with open('cleaned_data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Cleaned Text'])
    for text in cleaned_texts:
        writer.writerow([text])

6. 異常處理

在爬蟲過程中，可能會遇到各種異常情況，需要進行異常處理。

try:
    response = requests.get(url)
    response.raise_for_status()  # 檢查HTTP請求是否成功
except requests.exceptions.RequestException as e:
    print(f'Error: {e}')

7. 日志記錄

記錄日志可以幫助你更好地調試和監控爬蟲的運行狀態。

import logging

logging.basicConfig(filename='crawler.log', level=logging.INFO)
logging.info(f'Fetching data from {url}')

示例代碼

以下是一個完整的示例代碼，展示了如何進行數據清洗：

import requests
from bs4 import BeautifulSoup
import re
import csv
import logging

# 配置日志
logging.basicConfig(filename='crawler.log', level=logging.INFO)
logging.info(f'Fetching data from http://example.com')

try:
    response = requests.get('http://example.com')
    response.raise_for_status()  # 檢查HTTP請求是否成功
except requests.exceptions.RequestException as e:
    logging.error(f'Error: {e}')
    exit(1)

soup = BeautifulSoup(response.content, 'html.parser')
paragraphs = soup.find_all('p')

cleaned_texts = []
for p in paragraphs:
    text = p.get_text()
    # 去除多余的空格和換行符
    text = ' '.join(text.split())
    # 去除HTML標簽
    text = re.sub('<.*?>', '', text)
    # 去除特殊字符
    text = re.sub('[^a-zA-Z0-9\s]', '', text)
    cleaned_texts.append(text)

# 存儲到CSV文件
with open('cleaned_data.csv', 'w', newline='', encoding='utf-8') as file:
    writer = csv.writer(file)
    writer.writerow(['Cleaned Text'])
    for text in cleaned_texts:
        writer.writerow([text])

logging.info('Data cleaning and storage completed.')

通過這些步驟，你可以有效地清洗從網絡爬蟲中獲取的數據，確保其質量和準確性。