如何用Python爬取股票數據

# 如何用Python爬取股票數據

在金融分析和量化投資領域，獲取實時或歷史的股票數據是基礎且關鍵的步驟。本文將詳細介紹如何使用Python爬取股票數據，涵蓋常用的數據源、爬取工具以及代碼實現。

## 目錄
1. [準備工作](#準備工作)
2. [選擇數據源](#選擇數據源)
3. [使用第三方庫爬取數據](#使用第三方庫爬取數據)
4. [直接爬取網頁數據](#直接爬取網頁數據)
5. [數據存儲與處理](#數據存儲與處理)
6. [注意事項](#注意事項)

---

## 準備工作

在開始爬取股票數據之前，需要確保你的Python環境已經安裝了必要的庫。常用的庫包括：

- `requests`：用于發送HTTP請求
- `BeautifulSoup`：用于解析HTML頁面
- `pandas`：用于數據處理和分析
- `yfinance`：用于從Yahoo Finance獲取股票數據
- `tushare`：用于獲取國內股票數據（需注冊）

可以通過以下命令安裝這些庫：

```bash
pip install requests beautifulsoup4 pandas yfinance tushare

選擇數據源

選擇合適的股票數據源是爬取數據的第一步。以下是一些常用的免費數據源：

1. Yahoo Finance：提供全球股票的歷史和實時數據。
2. Tushare：專注于國內股票、基金、期貨等金融數據（需API Key）。
3. 新浪財經：提供國內股票的實時和歷史數據。
4. 東方財富網：國內常用的股票數據源之一。

使用第三方庫爬取數據

1. 使用yfinance獲取Yahoo Finance數據

yfinance是一個簡單易用的庫，可以直接從Yahoo Finance獲取股票數據。

import yfinance as yf

# 下載蘋果公司（AAPL）的歷史數據
data = yf.download("AAPL", start="2020-01-01", end="2023-01-01")

# 查看前5行數據
print(data.head())

2. 使用tushare獲取國內股票數據

tushare是一個專門用于獲取國內金融數據的庫，但需要注冊并獲取API Key。

import tushare as ts

# 設置你的Tushare API Key
ts.set_token('你的API_KEY')
pro = ts.pro_api()

# 獲取貴州茅臺（600519.SH）的日線數據
data = pro.daily(ts_code='600519.SH', start_date='20200101', end_date='20230101')

# 查看數據
print(data.head())

直接爬取網頁數據

如果第三方庫無法滿足需求，可以直接從網頁爬取數據。以下是一個從新浪財經爬取股票數據的示例：

示例：爬取新浪財經的股票實時數據

import requests
from bs4 import BeautifulSoup
import pandas as pd

# 目標URL（以貴州茅臺為例）
url = "https://finance.sina.com.cn/realstock/company/sh600519/nc.shtml"

# 發送HTTP請求
response = requests.get(url)
response.encoding = 'utf-8'

# 解析HTML
soup = BeautifulSoup(response.text, 'html.parser')

# 提取股票名稱和當前價格
stock_name = soup.find('h1', class_='name').get_text()
price = soup.find('div', class_='price').get_text()

print(f"股票名稱: {stock_name}")
print(f"當前價格: {price}")

數據存儲與處理

爬取到的數據通常需要存儲到本地或數據庫中以供后續分析。以下是幾種常見的存儲方式：

1. 存儲為CSV文件

# 使用pandas保存為CSV
data.to_csv('stock_data.csv', index=False)

2. 存儲到數據庫（以SQLite為例）

import sqlite3

# 創建數據庫連接
conn = sqlite3.connect('stock.db')

# 將數據寫入數據庫
data.to_sql('stock_data', conn, if_exists='replace', index=False)

# 關閉連接
conn.close()

3. 數據處理

使用pandas可以方便地對數據進行清洗和分析：

# 計算移動平均線
data['MA5'] = data['close'].rolling(window=5).mean()
data['MA10'] = data['close'].rolling(window=10).mean()

# 查看處理后的數據
print(data[['close', 'MA5', 'MA10']].tail())

注意事項

1. 合法性：確保你的爬取行為符合目標網站的使用條款，避免頻繁請求導致IP被封。
2. 反爬機制：一些網站可能有反爬措施（如驗證碼、IP限制），可以使用selenium模擬瀏覽器操作。
3. 數據更新：股票數據是實時變化的，建議設置定時任務（如cron或APScheduler）定期更新數據。
4. 錯誤處理：在爬取過程中加入異常處理，避免程序因網絡問題中斷。

結語

本文介紹了使用Python爬取股票數據的幾種方法，包括使用第三方庫（如yfinance和tushare）以及直接爬取網頁數據。通過合理的數據存儲和處理，你可以輕松獲取并分析股票數據，為投資決策提供支持。

如果你對量化投資感興趣，可以進一步學習如何使用這些數據進行回測和策略開發。Happy Coding！ “`

這篇文章總計約1200字，涵蓋了從準備工作到數據存儲的完整流程，并提供了代碼示例和注意事項。希望對你有幫助！