手把手教你用pandas处理缺失值

拼搏现实的明天。 2022-10-28 00:47 255阅读 0赞

![format_png][]

**导读：**在进行数据分析和建模的过程中，大量的时间花在数据准备上：加载、清理、转换和重新排列。本文将讨论用于缺失值处理的工具。

缺失数据会在很多数据分析应用中出现。pandas的目标之一就是尽可能无痛地处理缺失值。

作者：韦斯·麦金尼（Wes McKinney）

译者：徐敬一

来源：大数据DT（ID：hzdashuju）

![format_png 1][]

pandas对象的所有描述性统计信息默认情况下是排除缺失值的。

pandas对象中表现缺失值的方式并不完美，但是它对大部分用户来说是有用的。对于数值型数据，pandas使用浮点值NaN（Not a Number来表示缺失值）。我们称NaN为容易检测到的标识值：

In :

string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])

string_data

Out:

0      aardvark
    1     artichoke
    2            NaN
    3       avocado
    dtype: object

In:

string_data.isnull()

Out:

0     False
    1     False
    2      True
    3     False
    dtype: bool

在pandas中，我们采用了R语言中的编程惯例，将缺失值成为NA，意思是not available（不可用）。在统计学应用中，NA数据可以是不存在的数据或者是存在但不可观察的数据（例如在数据收集过程中出现了问题）。**当清洗数据用于分析时，对缺失数据本身进行分析以确定数据收集问题或数据丢失导致的数据偏差通常很重要。**

Python内建的None值在对象数组中也被当作NA处理：

In:

string_data[0] = None

string_data.isnull()

Out:

0      True
    1     False
    2      True
    3     False
    dtype: bool

pandas项目持续改善处理缺失值的内部细节，但是用户API函数，比如pandas. isnull，抽象掉了很多令人厌烦的细节。处理缺失值的相关函数列表如下：

*  **dropna：**根据每个标签的值是否是缺失数据来筛选轴标签，并根据允许丢失的数据量来确定阈值
 *  **fillna：**用某些值填充缺失的数据或使用插值方法(如“ffill”或“bfill”)。
 *  **isnull：**返回表明哪些值是缺失值的布尔值
 *  **notnull：**isnull的反作用函数

**01 过滤缺失值**

有多种**过滤**缺失值的方法。虽然你可以使用pandas.isnull和布尔值索引手动地过滤缺失值，但**dropna**在过滤缺失值时是非常有用的。在Series上使用dropna，它会返回Series中所有的非空数据及其索引值：

In:

from numpy import nan as NA

data = pd.Series([1, NA, 3.5, NA, 7])

data.dropna()

Out:

0     1.0
    2     3.5
    4     7.0
    dtype: float64

上面的例子与下面的代码是等价的：

In:

data[data.notnull()]

Out:

0     1.0
    2     3.5
    4     7.0
    dtype: float64

当处理DataFrame对象时，事情会稍微更复杂一点。你可能想要删除全部为NA或包含有NA的行或列。dropna默认情况下会删除包含缺失值的行：

In:

data = pd.DataFrame([[1., 6.5, 3.], [1., NA, NA]
                         [NA, NA, NA], [NA, 6.5, 3.]])

cleaned = data.dropna()

data

Out:

0     1     2
    0  1.0  6.5  3.0
    1  1.0  NaN  NaN
    2  NaN  NaN  NaN
    3  NaN  6.5  3.0

In:

cleaned

Out:

0     1     2
    0  1.0  6.5  3.0

传入how='all’时，将删除所有值均为NA的行：

In:

data.dropna(how='all')

Out:

0    1    2
    0  1.0  6.5  3.0
    1  1.0  NaN  NaN
    3  NaN  6.5  3.0

如果要用同样的方式去删除列，传入参数axis=1：

In:

data[4] = NA

data

Out:

0    1    2   4
    0  1.0  6.5  3.0 NaN
    1  1.0  NaN  NaN NaN
    2  NaN  NaN  NaN NaN
    3  NaN  6.5  3.0 NaN

In:

data.dropna(axis=1, how='all')

Out:

0    1    2
    0  1.0  6.5  3.0
    1  1.0  NaN  NaN
    2  NaN  NaN  NaN
    3  NaN  6.5  3.0

过滤DataFrame的行的相关方法往往涉及时间序列数据。假设你只想保留包含一定数量的观察值的行。你可以用thresh参数来表示：

In:

df = pd.DataFrame(np.random.randn(7, 3))

df.iloc[:4, 1] = NA

df.iloc[:2, 2] = NA

Out:

0         1         2
    0 -0.204708       NaN       NaN
    1 -0.555730       NaN       NaN
    2  0.092908       NaN  0.769023
    3  1.246435       NaN -1.296221
    4  0.274992  0.228913  1.352917
    5  0.886429 -2.001637 -0.371843
    6  1.669025 -0.438570 -0.539741

In:

df.dropna()

Out:

0         1         2
    4 0.274992  0.228913  1.352917
    5 0.886429 -2.001637 -0.371843
    6 1.669025 -0.438570 -0.539741

In:

df.dropna(thresh=2)

Out:

0         1         2
    2 0.092908       NaN  0.769023
    3 1.246435       NaN -1.296221
    4 0.274992  0.228913  1.352917
    5 0.886429 -2.001637 -0.371843
    6 1.669025 -0.438570 -0.539741

**02 补全缺失值**

你有时可能需要以多种方式**补全**“漏洞”，而不是过滤缺失值（也可能丢弃其他数据）。

大多数情况下，主要使用**fillna**方法来补全缺失值。调用fillna时，可以使用一个常数来替代缺失值：

In:

df.fillna(0)

Out:

0         1         2
    0 -0.204708  0.000000  0.000000
    1 -0.555730  0.000000  0.000000
    2  0.092908  0.000000  0.769023
    3  1.246435  0.000000 -1.296221
    4  0.274992  0.228913  1.352917
    5  0.886429 -2.001637 -0.371843
    6  1.669025 -0.438570 -0.539741

在调用fillna时使用字典，你可以为不同列设定不同的填充值：

In:

df.fillna({1: 0.5, 2: 0})

Out:

0         1         2
    0 -0.204708  0.500000  0.000000
    1 -0.555730  0.500000  0.000000
    2  0.092908  0.500000  0.769023
    3  1.246435  0.500000 -1.296221
    4  0.274992  0.228913  1.352917
    5  0.886429 -2.001637 -0.371843
    6  1.669025 -0.438570 -0.539741

fillna返回的是一个新的对象，但你也可以修改已经存在的对象：

In:

_ = df.fillna(0, inplace=True)

Out:

0         1         2
    0 -0.204708  0.000000  0.000000
    1 -0.555730  0.000000  0.000000
    2  0.092908  0.000000  0.769023
    3  1.246435  0.000000 -1.296221
    4  0.274992  0.228913  1.352917
    5  0.886429 -2.001637 -0.371843
    6  1.669025 -0.438570 -0.539741

用于重建索引的相同的插值方法也可以用于fillna：

In:

df = pd.DataFrame(np.random.randn(6, 3))

df.iloc[2:, 1] = NA

df.iloc[4:, 2] = NA

Out:

0         1         2
    0  0.476985  3.248944 -1.021228
    1 -0.577087  0.124121  0.302614
    2  0.523772       NaN  1.343810
    3 -0.713544       NaN -2.370232
    4 -1.860761       NaN       NaN
    5 -1.265934       NaN       NaN

In:

df.fillna(method='ffill')

Out:

0         1         2
    0  0.476985  3.248944 -1.021228
    1 -0.577087  0.124121  0.302614
    2  0.523772  0.124121  1.343810
    3 -0.713544  0.124121 -2.370232
    4 -1.860761  0.124121 -2.370232
    5 -1.265934  0.124121 -2.370232

In:

df.fillna(method='ffill', limit=2)

Out:

0         1         2
    0  0.476985  3.248944 -1.021228
    1 -0.577087  0.124121  0.302614
    2  0.523772  0.124121  1.343810
    3 -0.713544  0.124121 -2.370232
    4 -1.860761       NaN -2.370232
    5 -1.265934       NaN -2.370232

使用fillna你可以完成很多带有一点创造性的工作。例如，你可以将Series的平均值或中位数用于填充缺失值：

In:

data = pd.Series([1., NA, 3.5, NA, 7])

data.fillna(data.mean())

Out:

0     1.000000
    1     3.833333
    2     3.500000
    3     3.833333
    4     7.000000
    dtype: float64

以下是fillna的函数参数。

*  **value：**标量值或字典型对象用于填充缺失值
 *  **method：**插值方法，如果没有其他参数，默认是'ffill'
 *  **axis：**需要填充的轴，默认axis=0
 *  **inplace：**修改被调用的对象，而不是生成一个备份
 *  **limit：**用于前向或后向填充时最大的填充范围

关于作者：韦斯·麦金尼（Wes McKinney）是流行的Python开源数据分析库pandas的创始人。他是一名活跃的演讲者，也是Python数据社区和Apache软件基金会的Python/C++开源开发者。目前他在纽约从事软件架构师工作。

本文摘编自《利用Python进行数据分析》（原书第2版），经出版方授权发布。

![format_png 2][]

延伸阅读《利用Python进行数据分析》

点击上图了解及购买

转载请联系微信：DoctorData

**推荐语：**Python数据分析经典畅销书全新升级，第1版中文版累计销售100000册。针对Python 3.6进行全面修订和更新，涵盖新版的pandas、NumPy、IPython和Jupyter。

订阅大师课，玩转pandas**????**

![format_png 3][]

![音符][format_png 4]

**划重点????**

**干货直达????**

*  [盘点最重要的7个Python库][7_Python]  
    
 *  [手把手教你用ECharts画饼图和环形图][ECharts]  
    
 *  [终于有人把智能语音处理讲明白了][Link 1]  
    
 *  [终于有人把5G+人工智能讲明白了][5G]

**更多精彩****????**

在公众号对话框输入以下**关键词**

查看更多优质内容！

**PPT** | **读书** | **书单** | **硬核** | **干货**** **| **讲明白 **|** 神操作**

**大数据** | **云计算** | **数据库** | **Python** | **可视化**

**AI** | **人工智能** | **机器学习** | **深度学习** | **NLP**

**5G**** **|** 中台 **|** 用户画像**** **| **1024** | **数学 **|** 算法 **| **数字孪生**

据统计，99%的大咖都完成了这个神操作

**????**

![format_png 5][]

![format_png 6][]

[format_png]: /images/20221024/eb1cfe8ab9a24cbd953f29abd4665846.png
[format_png 1]: /images/20221024/9da8417cdcbc47148fe49f4129c62560.png
[format_png 2]: /images/20221024/8c8071cddda74f0bb3dd9aae2b5b1981.png
[format_png 3]: /images/20221024/dba4bd6b678149be90d343d958112fc6.png
[format_png 4]: /images/20221024/ec0e586a4699403086ba8d85a84bf3a5.png
[7_Python]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd5b9dbfb5caf401cc3f3540d681326e9e422dee280053a9b1ee19ad00c1a4ae34e32159b&idx=2&mid=2247523413&scene=21&sn=1789a8af915d9fe1883023b243fe7301#wechat_redirect
[ECharts]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd217dbfb5b0136c8d6799b66811a08febb0ba421b4c71246873b8ff386769fe5450e6b4d&idx=2&mid=2247523323&scene=21&sn=ac042be2cf5d1b2899e51bcdc4d8b242#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd315dbfb5a031a03fb1965abca4e607e5877ac2a3862be91acfdb1604c01896bca672dc9&idx=2&mid=2247523065&scene=21&sn=46f7b04c4cbfe1dac00ae39e0d3dd5da#wechat_redirect
[5G]: http://mp.weixin.qq.com/s?__biz=MzI5OTk5OTM2Mw%3D%3D&chksm=ec8cd3d0dbfb5ac6c056c2d572916d6ed3ad48e0eed9fed28ee0e01734c537a01b6683560b40&idx=1&mid=2247522876&scene=21&sn=62604ecf7509b3dd331d19bacfedecef#wechat_redirect
[format_png 5]: /images/20221024/25d278f2c2754f8da682e2cf179027af.png
[format_png 6]: /images/20221024/3da43ee8bfe44c58b1f83419742368ef.png