如何用Python處理缺失數據

在Python中，處理缺失數據通常使用Pandas庫。Pandas提供了多種方法來處理缺失數據，包括刪除、填充和插值等。以下是一些常用的方法：

1. 檢測缺失數據：

   • 使用isnull()函數來檢測缺失數據。
   • 使用notnull()函數來檢測非缺失數據。
   • 使用isna()函數，它是isnull()的別名。

2. 刪除缺失數據：

   • 使用dropna()函數可以刪除包含缺失值的行或列。
   • 可以通過參數axis指定刪除行(axis=0)還是列(axis=1)。
   • 可以通過參數how指定刪除條件，如'any'（任何缺失值）或'all'（所有值都缺失）。
   • 可以通過參數subset指定只檢查某些列。

3. 填充缺失數據：

   • 使用fillna()函數可以填充缺失值。
   • 可以用一個固定的值填充，例如fillna(value=0)。
   • 可以用前一個值填充，例如fillna(method='ffill')。
   • 可以用后一個值填充，例如fillna(method='bfill')。
   • 可以用列的平均值、中位數或眾數填充，例如fillna(df.mean())。

4. 插值：

   • 使用interpolate()函數可以進行插值填充。
   • 插值方法有很多種，例如線性插值(linear)、多項式插值等。

下面是一個簡單的例子，展示了如何使用Pandas處理缺失數據：

import pandas as pd
import numpy as np

# 創建一個包含缺失值的DataFrame
df = pd.DataFrame({
    'A': [1, 2, np.nan, 4],
    'B': [5, np.nan, np.nan, 8],
    'C': [10, 11, 12, 13]
})

# 檢測缺失值
print(df.isnull())

# 刪除包含缺失值的行
df_dropped = df.dropna()

# 刪除包含缺失值的列
df_dropped_columns = df.dropna(axis=1)

# 用固定值填充缺失值
df_filled = df.fillna(value=0)

# 用前一個值填充缺失值
df_ffill = df.fillna(method='ffill')

# 用后一個值填充缺失值
df_bfill = df.fillna(method='bfill')

# 用平均值填充缺失值
df_mean_fill = df.fillna(df.mean())

# 插值填充缺失值
df_interpolated = df.interpolate(method='linear')

在實際應用中，選擇哪種方法取決于數據的特性和分析的目的。有時候，可能需要結合多種方法來處理缺失數據。