【pandas小技巧】--缺失值的列

刺骨的言语ヽ痛彻心扉 2024-03-23 19:16 52阅读 0赞

在实际应用中，数据集中经常会存在缺失值，也就是某些数据项的值并未填充或者填充不完整。  
缺失值的存在可能会对后续的数据分析和建模产生影响，因此需要进行处理。

`pandas`提供了多种方法来处理缺失值，例如删除缺失值、填充缺失值等。  
删除缺失值可能会导致数据量减少，填充缺失值则能够尽量保留原始数据集的完整性，从而提高数据分析和建模的准确性和可靠性。

当数据集中存在缺失值时，我们通常需要进行以下操作：

1.  检查缺失值的数量和分布情况，了解缺失值对数据的影响程度。
2.  根据数据的类型和业务需求，选择合适的缺失值处理方法，并对缺失值进行处理。
3.  在处理缺失值的同时，要注意保持数据集的一致性和完整性。
4.  处理完缺失值后，可以进行后续的数据分析和建模，从而得出更准确和可靠的结论。

## 1. 缺失值统计 ##

首先我们随机创建一个包含缺失值的测试数据集，这里用到之前介绍过的创建测试数据的技巧。

import pandas as pd
    
    def get_random_missing_data():
        df = pd.util.testing.makeMissingDataframe()
        return df[df.isna().any(axis=1)]
    
    df = get_random_missing_data()
    df

![image.png][]

这里我封装了一个简单的函数`get_random_missing_data`，通过这个函数，可以创建一个每行至少有一个缺失值的数据集。  
**注意**：这是随机创建的数据集，所以每次运行的结果会不一样。

统计缺失值很简单，首先通过`isna`函数找出所有缺失的值，然后可以使用`sum`或者`mean`来统计缺失的数量和比例。

df.isna().sum()

![image.png][image.png 1]

`sum`函数返回的是每一列缺失值的数量。

df.isna().mean()

![image.png][image.png 2]

`mean`函数返回的值可以看做每一列缺失值占的比例。

## 2. 删除缺失值 ##

处理缺失值时，有些场景为了保证数据的完整性，只能删掉有缺失的数据。  
删除缺失值有2个重要的参数：`how`和 `axis`。

`how`有2个可选值：

1.  any：这是默认值，表示行数据或者列数据中有一个缺失值，就删除此行或此列
2.  all：表示行数据或者列数据中所有值都缺失时，才删除此行或此列

`axis`也有2个可选值：

1.  0 或 index：按行判断是否有缺失值
2.  1 或 columns：按列判断是否有缺失值

`how="any"`，`axis=0`的情况：每**行**数据中只要有一个缺失值就删除该**行**。

df = pd.DataFrame(
        {
            "A": [1, 2, 3, np.nan],
            "B": [1, np.nan, 3, 4],
            "C": [1, 2, np.nan, 4],
            "D": [1, 2, 3, 4],
        }
    )
    
    df.dropna(how="any", axis=0)

![image.png][image.png 3]

`how="all"`，`axis=0`的情况：每**行**数据中，全部值都缺失的**行**才删除。

df = pd.DataFrame(
        {
            "A": [1, np.nan, 3, np.nan],
            "B": [1, np.nan, 3, 4],
            "C": [1, np.nan, np.nan, 4],
            "D": [1, np.nan, 3, 4],
        }
    )
    
    df.dropna(how="all", axis=0)

![image.png][image.png 4]

`how="any"`，`axis=1`的情况：每**列**数据中只要有一个缺失值就删除该**列**。

df = pd.DataFrame(
        {
            "A": [1, 2, 3, np.nan],
            "B": [1, np.nan, 3, 4],
            "C": [1, 2, np.nan, 4],
            "D": [1, 2, 3, 4],
        }
    )
    
    df.dropna(how="any", axis=1)

![image.png][image.png 5]

`how="all"`，`axis=1`的情况：每**列**数据中,全部值都缺失的**列**才删除。

df = pd.DataFrame(
        {
            "A": [np.nan, np.nan, np.nan, np.nan],
            "B": [1, np.nan, 3, 4],
            "C": [1, 2, np.nan, 4],
            "D": [1, np.nan, 3, 4],
        }
    )
    
    df.dropna(how="all", axis=1)

![image.png][image.png 6]

## 3. 填充缺失值 ##

填充缺失值一般使用`fillna`函数指定填充什么样的值。  
比如：

df = pd.DataFrame(
        {
            "A": [1, 2, 3, np.nan],
            "B": [1, np.nan, 3, 4],
            "C": [1, 2, np.nan, 4],
            "D": [1, 2, 3, 4],
        }
    )
    
    df.fillna(-1)

![image.png][image.png 7]

这里是用 `-1`来填充的，根据实际情况可以使用任意合适的值来填充。

除了 `fillna` 函数之外，还有一个`interpolate`函数，能够更加合理的填充缺失值。

df = pd.DataFrame(
        {
            "A": [1, 3, 4, np.nan],
            "B": [2, np.nan, 2, 4],
            "C": [3, 3, np.nan, 3],
            "D": [4, 1, np.nan, 4],
        }
    )
    
    df.interpolate()

![image.png][image.png 8]

每个缺失值都是它上下两行的值的**平均值**。

如果只有上面行的值，那就直接用上面行的值。  
这里有个注意的地方：如果是第一行有缺失的话，那么是无法填充的。  
比如：

df = pd.DataFrame(
        {
            "A": [np.nan, 3, np.nan, np.nan],
            "B": [2, np.nan, 2, 4],
            "C": [3, 3, np.nan, 3],
            "D": [4, 1, np.nan, 4],
        }
    )
    
    df.interpolate()

![image.png][image.png 9]

第一行的缺失值没有上一行可以参照，还是维持原来缺失的状态。  
所以使用 `interpolate` 进行填充时，注意第一行的缺失值状态，可以用 `fillna` 先处理第一行。

[image.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/b5889dbaa6fb4fbdbb5b2fdbb632c6c0.png
[image.png 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/52969323bc5b401faaa2418c4ab20ca6.png
[image.png 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/337236a7c2494c639b3ffaab0120782c.png
[image.png 3]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/87f0042303154255a007d44a909fbe2f.png
[image.png 4]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/1d8f617f05494588981386135f7cd9e8.png
[image.png 5]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/9fb0a08d1c194ecb8c05b5252730539a.png
[image.png 6]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/4c3fe4c06d12412bb15065c35adcb9c9.png
[image.png 7]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/cbb3c3befa064e698840d001811a1b07.png
[image.png 8]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/dcf0f4d9d61f411e8fb14fe7955ca6b1.png
[image.png 9]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/14/9dfed6430d20437ba7095072658da6f3.png