Pandas 对DataFrame的缺失值NA值处理4种方法总结

布满荆棘的人生 2023-06-16 02:00 42阅读 0赞

数据清洗是一项复杂且繁琐的工作，同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80%的时间都是在清洗数据，这听起来有些匪夷所思，但在实际的工作中确实如此。

数据清洗的目的有两个，第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。换句话说就是有”脏”数据要洗，干净的数据也要洗。本篇文章将介绍几种简单的使用Python数据清洗DataFrame中缺失值的方法。

**目录**

1. 相关函数

2. 删除缺失值：dropna函数

3. 替换缺失值：fillna函数

4. 判断缺失值：isna函数

5. 判断缺失值：notna函数

--------------------

## 1. 相关函数 ##

删除缺失值：df.dropna()

[https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html][https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.dropna.html]

填充缺失值：df.fillna()

[https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html][https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.fillna.html]

判断缺失值：df.isna()

[https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.isna.html][https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.isna.html]

判断缺失值：df.notna()

[https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.notna.html][https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.notna.html]

## 2. 删除缺失值：dropna函数 ##

dropna参数列表：

DataFrame.dropna(self, axis=0, how='any', thresh=None, subset=None, inplace=False)

输入：

import numpy as np
    import pandas as pd
    
    df = pd.DataFrame({"name": ['Alfred', 'Batman', 'Catwoman'],
                        "toy": [np.nan, 'Batmobile', 'Bullwhip'],
                        "born": [pd.NaT, pd.Timestamp("1940-04-25"),
                                 pd.NaT]})

# df
    #        name        toy       born
    # 0    Alfred        NaN        NaT
    # 1    Batman  Batmobile 1940-04-25
    # 2  Catwoman   Bullwhip        NaT

--------------------

1. dropna默认参数。删除含有NA的行。其中axis=0表示删除行，how='any'表示有一个NA就删除整行/列。

df.dropna()
    #      name        toy       born
    # 1  Batman  Batmobile 1940-04-25

2. 删除含有NA的列。参数axis=1或axis='columns'。

df.dropna(axis='columns')
    #        name
    # 0    Alfred
    # 1    Batman
    # 2  Catwoman
    
    df.dropna(axis=1)
    #        name
    # 0    Alfred
    # 1    Batman
    # 2  Catwoman

3. 当所有行/列为NA时才删除。参数how='all'。

df.dropna(how='all')
    #        name        toy       born
    # 0    Alfred        NaN        NaT
    # 1    Batman  Batmobile 1940-04-25
    # 2  Catwoman   Bullwhip        NaT

4. 提高删除NA的阈值。参数thresh=2，表示行/列中的NA数量大于2才删除。

df.dropna(thresh=2)
    #        name        toy       born
    # 1    Batman  Batmobile 1940-04-25
    # 2  Catwoman   Bullwhip        NaT

5.设置判断的子集。参数subset设置待判断的列/行名，这些列/行中有NA值则所在行/列被删除。

df.dropna(subset=['name', 'born'])
    #      name        toy       born
    # 1  Batman  Batmobile 1940-04-25

6. 将处理后的df替换原本的df。参数inplace=True。

df.dropna(inplace=True)
    df
    #      name        toy       born
    # 1  Batman  Batmobile 1940-04-25

## 3. 替换缺失值：fillna函数 ##

fillna参数列表：

DataFrame.fillna(self, value=None, method=None, axis=None, inplace=False, limit=None, downcast=None, **kwargs)

输入：

import numpy as np
    import pandas as pd
    
    df = pd.DataFrame([[np.nan, 2, np.nan, 0],
                       [3, 4, np.nan, 1],
                       [np.nan, np.nan, np.nan, 5],
                       [np.nan, 3, np.nan, 4]],
                      columns=list('ABCD'))

df
    #      A    B   C  D
    # 0  NaN  2.0 NaN  0
    # 1  3.0  4.0 NaN  1
    # 2  NaN  NaN NaN  5
    # 3  NaN  3.0 NaN  4

--------------------

1. fillna默认参数。传入值，填充所有NA。

df.fillna(0)
    #      A    B    C  D
    # 0  0.0  2.0  0.0  0
    # 1  3.0  4.0  0.0  1
    # 2  0.0  0.0  0.0  5
    # 3  0.0  3.0  0.0  4

2. 设定每列NA的填充值。value为字典格式。

values = {'A': 0, 'B': 1, 'C': 2, 'D': 3}
    df.fillna(value=values)
    #      A    B    C  D
    # 0  0.0  2.0  2.0  0
    # 1  3.0  4.0  2.0  1
    # 2  0.0  1.0  2.0  5
    # 3  0.0  3.0  2.0  4

3. 用前向值/后向值填充NA。method='fillna'表示NA被前一个值填充。例如A列2行的NA被A列1行的3.0填充，B列2行的NA被B列1行的4.0填充。

df.fillna(method='ffill')
    #      A    B   C  D
    # 0  NaN  2.0 NaN  0
    # 1  3.0  4.0 NaN  1
    # 2  3.0  4.0 NaN  5
    # 3  3.0  3.0 NaN  4

4. 设定每列/行的填充数。limit=1表示每列/行仅仅填充1个NA。

df.fillna(value=values, limit=1)
    #      A    B    C  D
    # 0  0.0  2.0  2.0  0
    # 1  3.0  4.0  NaN  1
    # 2  NaN  1.0  NaN  5
    # 3  NaN  3.0  NaN  4

5. 参数axis和inplace与dropna相同。

## 4. 判断缺失值：isna函数 ##

1. 判断df中所有值是否为NA。

df.isna()
    #     name    toy   born
    # 0  False   True   True
    # 1  False  False  False
    # 2  False  False   True

2. 判断某一列（series格式）的值是否为NA。

df['toy'].isna()
    # 0     True
    # 1    False
    # 2    False
    # Name: toy, dtype: bool

## 5. 判断缺失值：notna函数 ##

与isna的结果完全相反，用法一样。

df.notna()
    #    name    toy   born
    # 0  True  False  False
    # 1  True   True   True
    # 2  True   True  False

df['toy'].notna()
    # 0    False
    # 1     True
    # 2     True
    # Name: toy, dtype: bool

--------------------

[https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.dropna.html]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.dropna.html
[https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.fillna.html]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.fillna.html
[https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.isna.html]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.isna.html
[https_pandas.pydata.org_pandas-docs_stable_reference_api_pandas.DataFrame.notna.html]: https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.notna.html