python之怎么使用fillna()填充缺失值

Python之怎么使用fillna()填充缺失值

在數據分析和處理過程中，缺失值（Missing Values）是一個常見的問題。缺失值可能由于數據采集錯誤、數據存儲問題或其他原因而產生。處理缺失值是數據預處理的重要步驟之一，因為許多機器學習算法和統計方法無法直接處理含有缺失值的數據。Python中的Pandas庫提供了強大的工具來處理缺失值，其中fillna()函數是最常用的方法之一。本文將詳細介紹如何使用fillna()函數來填充缺失值。

1. 什么是缺失值？

在數據集中，缺失值通常表示為NaN（Not a Number）或None。缺失值可能是由于數據采集過程中的錯誤、數據存儲問題、數據轉換問題等原因引起的。處理缺失值是數據預處理的重要步驟，因為許多機器學習算法和統計方法無法直接處理含有缺失值的數據。

2. Pandas中的缺失值表示

在Pandas中，缺失值通常表示為NaN（Not a Number）。Pandas提供了多種方法來處理缺失值，其中最常用的方法之一是使用fillna()函數來填充缺失值。

3. fillna()函數的基本用法

fillna()函數用于填充缺失值。它可以接受多種參數，用于指定填充的方式。以下是fillna()函數的基本語法：

DataFrame.fillna(value=None, method=None, axis=None, inplace=False, limit=None, downcast=None)

3.1 參數說明

• value：用于填充缺失值的標量值或字典?？梢允且粋€具體的值（如0、1、均值等），也可以是一個字典，指定不同列的填充值。
• method：填充方法?？梢允?code>'ffill'（向前填充）或'bfill'（向后填充）。
• axis：填充的軸。0表示按行填充，1表示按列填充。
• inplace：是否在原數據上進行修改。如果為True，則直接修改原數據；如果為False，則返回一個新的DataFrame。
• limit：填充的最大連續缺失值數量。
• downcast：向下轉換數據類型。

3.2 示例

假設我們有一個包含缺失值的DataFrame：

import pandas as pd
import numpy as np

data = {
    'A': [1, 2, np.nan, 4],
    'B': [5, np.nan, np.nan, 8],
    'C': [10, 11, 12, np.nan]
}

df = pd.DataFrame(data)
print(df)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  NaN  11.0
2  NaN  NaN  12.0
3  4.0  8.0   NaN

3.2.1 使用標量值填充缺失值

我們可以使用一個標量值（如0）來填充所有缺失值：

df_filled = df.fillna(0)
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  0.0  11.0
2  0.0  0.0  12.0
3  4.0  8.0   0.0

3.2.2 使用字典指定不同列的填充值

我們可以使用一個字典來指定不同列的填充值：

df_filled = df.fillna({'A': 0, 'B': 1, 'C': 2})
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  1.0  11.0
2  0.0  1.0  12.0
3  4.0  8.0   2.0

3.2.3 使用向前填充（ffill）或向后填充（bfill）

我們可以使用method參數來指定填充方法。'ffill'表示向前填充，即用前面的值填充后面的缺失值；'bfill'表示向后填充，即用后面的值填充前面的缺失值。

df_filled = df.fillna(method='ffill')
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  5.0  11.0
2  2.0  5.0  12.0
3  4.0  8.0  12.0

df_filled = df.fillna(method='bfill')
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  8.0  11.0
2  4.0  8.0  12.0
3  4.0  8.0   NaN

3.2.4 使用inplace參數直接修改原數據

如果我們希望直接修改原數據，而不是返回一個新的DataFrame，可以使用inplace=True：

df.fillna(0, inplace=True)
print(df)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  0.0  11.0
2  0.0  0.0  12.0
3  4.0  8.0   0.0

4. 使用fillna()填充缺失值的常見場景

4.1 填充為均值、中位數或眾數

在實際應用中，我們經常使用均值、中位數或眾數來填充缺失值。例如，我們可以使用列的均值來填充缺失值：

df_filled = df.fillna(df.mean())
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  6.5  11.0
2  2.333333  6.5  12.0
3  4.0  8.0  11.0

4.2 填充為前一個或后一個值

在某些時間序列數據中，我們可能希望使用前一個或后一個值來填充缺失值。這時可以使用method='ffill'或method='bfill'：

df_filled = df.fillna(method='ffill')
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  5.0  11.0
2  2.0  5.0  12.0
3  4.0  8.0  12.0

4.3 填充為特定值

在某些情況下，我們可能希望將缺失值填充為特定的值。例如，將缺失值填充為0：

df_filled = df.fillna(0)
print(df_filled)

輸出：

     A    B     C
0  1.0  5.0  10.0
1  2.0  0.0  11.0
2  0.0  0.0  12.0
3  4.0  8.0   0.0

5. 總結

fillna()函數是Pandas中處理缺失值的強大工具。通過靈活使用fillna()函數的參數，我們可以根據不同的需求選擇合適的填充方式。無論是填充為特定值、均值、中位數，還是使用向前或向后填充，fillna()都能幫助我們有效地處理缺失值，為后續的數據分析和建模打下堅實的基礎。

在實際應用中，處理缺失值是一個需要謹慎對待的過程。選擇合適的填充方法不僅能夠提高數據的質量，還能避免引入不必要的偏差。因此，在使用fillna()函數時，建議根據具體的數據背景和分析需求，選擇最合適的填充策略。