怎么用Python分析全網取暖器數據

# 怎么用Python分析全網取暖器數據

## 引言

隨著冬季來臨，取暖器市場迎來銷售高峰。電商平臺、社交媒體和評測網站每天產生海量數據，這些數據隱藏著消費者偏好、產品趨勢和市場機會。本文將詳細介紹如何用Python技術棧采集、清洗和分析全網取暖器數據，幫助商家、研究者和愛好者獲取深度市場洞察。

## 一、數據采集：多源數據獲取

### 1.1 電商平臺數據爬取

```python
import requests
from bs4 import BeautifulSoup
import pandas as pd

def scrape_jd(keyword, pages=5):
    headers = {'User-Agent': 'Mozilla/5.0'}
    products = []
    
    for page in range(1, pages+1):
        url = f'https://search.jd.com/Search?keyword={keyword}&page={page}'
        response = requests.get(url, headers=headers)
        soup = BeautifulSoup(response.text, 'html.parser')
        
        for item in soup.select('.gl-item'):
            product = {
                'title': item.select_one('.p-name em').text.strip(),
                'price': item.select_one('.p-price i').text,
                'comments': item.select_one('.p-commit a').text.replace('+', ''),
                'shop': item.select_one('.p-shop a').text if item.select_one('.p-shop a') else '自營'
            }
            products.append(product)
    
    return pd.DataFrame(products)

# 示例：爬取京東前5頁取暖器數據
heater_df = scrape_jd('取暖器', 5)

1.2 社交媒體API調用

import tweepy
import weibo

# Twitter API配置
auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

# 獲取最近100條取暖器相關推文
tweets = [tweet.text for tweet in api.search(q='space heater', count=100)]

1.3 評測網站數據獲取

使用Selenium自動化瀏覽器獲取動態加載內容：

from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get('https://www.consumerreports.org/heaters/')

reviews = []
for item in driver.find_elements(By.CSS_SELECTOR, '.crux-product-card'):
    reviews.append({
        'model': item.find_element(By.CSS_SELECTOR, '.name').text,
        'rating': item.find_element(By.CSS_SELECTOR, '.rating').get_attribute('aria-label'),
        'price': item.find_element(By.CSS_SELECTOR, '.price').text
    })

二、數據清洗與預處理

2.1 處理缺失值與異常值

# 填充缺失值
heater_df['comments'] = heater_df['comments'].fillna('0').str.extract('(\d+)')[0].astype(int)

# 價格標準化
heater_df['price'] = heater_df['price'].str.replace('￥', '').astype(float)

# 去除重復數據
heater_df = heater_df.drop_duplicates(subset=['title'])

2.2 文本數據清洗

import re
import jieba

def clean_text(text):
    # 去除特殊字符
    text = re.sub(r'[^\w\s]', '', text)
    # 中文分詞
    return ' '.join(jieba.cut(text))

heater_df['clean_title'] = heater_df['title'].apply(clean_text)

2.3 數據標準化

from sklearn.preprocessing import MinMaxScaler

scaler = MinMaxScaler()
heater_df[['norm_price', 'norm_comments']] = scaler.fit_transform(
    heater_df[['price', 'comments']]
)

三、數據分析與可視化

3.1 價格分布分析

import matplotlib.pyplot as plt
import seaborn as sns

plt.figure(figsize=(10,6))
sns.histplot(heater_df['price'], bins=20, kde=True)
plt.title('取暖器價格分布')
plt.xlabel('價格（元）')
plt.ylabel('商品數量')
plt.savefig('price_distribution.png')

3.2 品牌熱度分析

# 提取品牌信息（示例）
brands = ['美的', '格力', '艾美特', '先鋒', '戴森']
heater_df['brand'] = heater_df['title'].apply(
    lambda x: next((b for b in brands if b in x), '其他')
    
brand_stats = heater_df.groupby('brand').agg({
    'price': 'mean',
    'comments': 'sum'
}).sort_values('comments', ascending=False)

3.3 情感分析

from snownlp import SnowNLP

def get_sentiment(text):
    return SnowNLP(text).sentiments

heater_df['sentiment'] = heater_df['clean_title'].apply(get_sentiment)

3.4 關聯規則挖掘

from mlxtend.frequent_patterns import apriori
from mlxtend.frequent_patterns import association_rules

# 創建特征矩陣（示例）
features = pd.get_dummies(heater_df['brand'].apply(pd.Series).stack()).sum(level=0)

# 挖掘頻繁項集
frequent_itemsets = apriori(features, min_support=0.1, use_colnames=True)
rules = association_rules(frequent_itemsets, metric="lift", min_threshold=1)

四、高級分析技術

4.1 時間序列預測

from statsmodels.tsa.arima.model import ARIMA

# 假設有按日統計的銷量數據
model = ARIMA(sales_data, order=(5,1,0))
model_fit = model.fit()
forecast = model_fit.forecast(steps=7)  # 預測未來7天

4.2 圖像識別處理

使用CNN識別產品圖片特征：

from tensorflow.keras.applications import ResNet50
from tensorflow.keras.preprocessing import image

model = ResNet50(weights='imagenet', include_top=False)

def extract_features(img_path):
    img = image.load_img(img_path, target_size=(224, 224))
    x = image.img_to_array(img)
    x = np.expand_dims(x, axis=0)
    return model.predict(x)

4.3 地理空間分析

import geopandas as gpd
from shapely.geometry import Point

# 創建地理坐標點
geometry = [Point(xy) for xy in zip(heater_df['lng'], heater_df['lat'])]
gdf = gpd.GeoDataFrame(heater_df, geometry=geometry)

# 繪制熱力圖
gdf.plot(column='sales', cmap='OrRd', legend=True)

五、數據存儲與自動化

5.1 數據庫存儲

import sqlite3

conn = sqlite3.connect('heaters.db')
heater_df.to_sql('products', conn, if_exists='replace', index=False)

5.2 自動化分析流程

使用Airflow設置定時任務：

from airflow import DAG
from airflow.operators.python_operator import PythonOperator

default_args = {
    'owner': 'airflow',
    'start_date': datetime(2023, 1, 1)
}

dag = DAG('heater_analysis', default_args=default_args, schedule_interval='@weekly')

scrape_task = PythonOperator(
    task_id='scrape_data',
    python_callable=scrape_heaters,
    dag=dag
)

analyze_task = PythonOperator(
    task_id='analyze_data',
    python_callable=analyze_heaters,
    dag=dag
)

scrape_task >> analyze_task

六、商業應用場景

1. 競品分析：監控主要競爭對手的價格調整和新品發布
2. 需求預測：結合天氣數據預測區域銷售趨勢
3. 產品優化：通過評論分析發現用戶痛點
4. 精準營銷：識別高潛力客戶群體
5. 供應鏈管理：優化庫存和物流策略

結語

通過Python分析取暖器市場數據，我們可以從海量信息中提取有價值的商業洞察。本文介紹的技術棧同樣適用于其他消費品類的分析，只需調整數據源和分析維度。隨著人工智能技術的發展，未來還可以結合大語言模型進行更深度的文本分析和預測。

關鍵收獲： - 多源數據整合能力至關重要 - 數據清洗往往消耗70%的分析時間 - 可視化是傳達洞察的高效方式 - 自動化可以持續監控市場變化

提示：實際應用中請注意遵守各平臺的數據使用政策，商業用途建議使用官方API獲取數據。完整代碼示例可在GitHub倉庫獲?。ㄊ纠溄樱?。 “`

這篇文章提供了從數據采集到高級分析的完整技術路線，包含可執行的代碼示例和實際應用建議，總字數約2150字。如需擴展特定部分或添加更多案例細節，可以進一步補充內容。