（六）缺失数据的处理

末蓝、 2022-12-25 05:58 257阅读 0赞

### 目录 ###

*   *  一：了解NaN:
     *  二：缺失值加载统计：
     *   *  1：加载数据，不包含缺失值：
         *  2：缺失值的统计：
         *  3：使用Missingno 库对缺失值进行可视化
     *  三：缺失值的处理：
     *   *  1： 删除缺失值：
         *   *  1.1： 按行删除：
             *  1.2： 按列删除：
         *  2： 填充缺失值：
         *   *  2.1：默认值填充：
             *  2.2： 统计值填充：
             *  2.3：时间序列数据用前后值填充，线性插值填充。
             *  2.4： 算法填充：

## 一：了解NaN: ##

1: NaN啥也不是：

*  注意使用一定要导包：from numpy import NaN,nan,NAN  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]

## 二：缺失值加载统计： ##

### 1：加载数据，不包含缺失值： ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]

### 2：缺失值的统计： ###

案例： 加载泰坦尼克号上的数据，并且统计缺失值。

1：加载测试数据和真实数据：

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]  
2：统计缺失值：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]

# 检测数据集中每一列缺失的的百分比：
    def missing_values_table(df):
        # 根据列统计缺失值
        mis_val = df.isnull().sum()
        # 计算缺失值比例
        mis_val_percent = 100 * df.isnull().sum()/len(df)
        # 将缺失值和缺失比例拼接成dataframe,根据列拼接
        mis_val_table = pd.concat([mis_val, mis_val_percent], axis=1)
        # 给列重新命名：
        mis_val_table_ren_columns = mis_val_table.rename( columns = {
        0 : '缺失值', 1 : '占比（%）'})
        # 按照缺失值降序排列，并且把缺失值为0的数据排除
        # 思路： 取出占比这一列不为0的三条数据，根据占比排序,round(1)表示保留一位有效数字
        mis_val_table_ren_columns = mis_val_table_ren_columns[ mis_val_table_ren_columns.iloc[:,1] != 0].sort_values( '占比（%）', ascending=False).round(1)
        return mis_val_table_ren_columns

### 3：使用Missingno 库对缺失值进行可视化 ###

1: 安装Missingno:  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]  
2: 使用条形图显示缺失值：

> import missingno as msno  
> msno.bar(train)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]  
3: 缺失值分布图：

> msno.matrix(train)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]  
4：取出100条数据查看：（部分数据查看缺失值）  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]  
5： 查看缺失值之间是否具有相关性：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]

## 三：缺失值的处理： ##

### 1： 删除缺失值： ###

删除缺失值会损失数据，一般不推荐删除数据，当缺失值占比比较低时，可以尝试删除缺失值数据。

#### 1.1： 按行删除： ####

> train\_1.dropna(subset=\[‘Age’\],how=‘any’,inplace=True)  
> train\_1\[‘Age’\].isnull().sum()

注意删除的是整行数据，subset指定了要删除的字段， how=‘any’,说明Age含有空值的所有行都删除。 inplace指的是不生成新的对象，在原有的tarin\_1这个对象上进行修改。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]

#### 1.2： 按列删除： ####

按列删除：当一列包含了很多缺失值的时候（比如超过80%），可以将该列删除，但最好不要删除数据。

> train\_1.drop(\[‘Age’\], axis = 1).head()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]

### 2： 填充缺失值： ###

#### 2.1：默认值填充： ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]

#### 2.2： 统计值填充： ####

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 14]

#### 2.3：时间序列数据用前后值填充，线性插值填充。 ####

1： 加载数据：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 15]  
2： 使用上一个值进行填充：

> city\_day.fillna(method=‘ffill’,inplace=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 16]  
3： 使用下一个值进行填充：

> city\_day.fillna(method=‘bfill’,inplace=True)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 17]  
4： 线性差值方法填充缺失值：  
时间序列数据，数据随着时间的变化可能会较大。 因此，使用bfill和ffill进行插补并不是解决缺失值问题的最优方案。  
线性插值法是一种插补缺失值技术，它假定数据点之间存在线性关系，并利用相邻数据点中的非缺失值来计算缺失数据点的值。

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 18]

#### 2.4： 算法填充： ####

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70]: /images/20221120/e7eaf506bc094df6b2c31ef0ecfba23e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 1]: /images/20221120/4e436def353a4ba6b560d7c4badde8c5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 2]: /images/20221120/cf866ef74a4b46e5b8a3d1ca2c12e0cb.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 3]: /images/20221120/5a8be6941074437ebf7ce28745969b5d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 4]: /images/20221120/097040e29b24462d951d8961a88a40df.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 5]: /images/20221120/6eb01083dbf04d549a14dd5c0e262b34.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 6]: /images/20221120/d5acbac115db482a9a12516e82908e50.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 7]: /images/20221120/91a7267bce194eb0a3e9c9f00445c14f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 8]: /images/20221120/7f053dc64e9f4a479697042a7844d974.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 9]: /images/20221120/6c58f808241d42bc915fb77ab317d36e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 10]: /images/20221120/da7b0cc328ad4776bd2e651735cc8d30.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 11]: /images/20221120/3bfb7250d3354fe3ac3f49febc9dd456.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 12]: /images/20221120/645e13a7d8ec421ab3521709c37d4e19.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 13]: /images/20221120/339210b572ee461e8bf232213dae69ce.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 14]: /images/20221120/852c5860d9fe4d109ea3664510892b9f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 15]: /images/20221120/cebef893f4bf4037a036fe927a63976b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 16]: /images/20221120/add579e06c8c4e85b0d22ca33f5395ed.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 17]: /images/20221120/ed9fbf44175d4753ac770850f1573e61.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMzQxNzU3_size_16_color_FFFFFF_t_70 18]: /images/20221120/58e2b9cab860454eab0ff39445b02552.png