「Python 数据处理基础」数据离群值的可视化和处理5种常用方法

谁践踏了优雅 2022-10-13 10:29 959阅读 0赞

### 文章目录 ###

*  内容介绍
 *  区分真假异常
 *  离群值的甄别方法和可视化
 *  离群值的处理方法

# 内容介绍 #

在日常的数据分析工作中经常会遇见异常数据，即超出特定区域或范围的数据通常被定义为异常或“噪声”，也称为离群值。

本文介绍在日常工作中，对于数据离群值的可视化和处理套路。

# 区分真假异常 #

根据业务经验来判断离群值

*  **伪异常：** 这些异常是由特定的业务操作引起的。它们实际上正常地反映了业务状态，而不是数据本身的异常规律。
 *  **真异常：** 这些异常不是由特定的业务操作引起的，而是客观地反映了数据本身异常分布的情况。

# 离群值的甄别方法和可视化 #

**1.3σ准则**

如果样本是正态分布或近似正态分布，可以考虑使用3σ方法，认为99%以上的数据集中在均值上下3个标准差的范围内。具体来说，数值分布在（μ-3σ,μ+3σ)中的概率为99.73%，超过这个范围的极大或极小值，那就是异常值了。

import pandas as pd
    import random
    import seaborn as sns
    import numpy as np
    
    # 生成1个正态分布，均值为0，标准差为1，1000个点
    data = np.random.normal(0, 1, size=1000) 
    df = pd.DataFrame(data,columns=["value"])
    sns.distplot(df['value'])
    
    # 计算均值
    mean = df['value'].mean()
    mean
    >>> -0.015112376391741298
    
    # 计算标准差
    sigma = df['value'].std()
    sigma
    >>> 1.022523743271161
    
    
    # 异常值范围范围 (均值-3*标准差, 均值+3*标准差)
    [mean-3*sigma,mean+3*sigma]
    >>> [-3.082683606205224, 3.052458853421742]
    
    # 筛选异常值
    [ i for i in data if not mean-3*sigma<i<mean+3*sigma]
    >>> [-3.3411613233772415,
    	  3.1618429735810696,
    	  3.8839317879436583,
    	  3.5785429625413543,
    	  3.0799355798019774]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]

**2.使用箱型图**

**百度百科：** 箱形图（Box-plot）又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。

import matplotlib.pyplot as plt
    
    plt.figure(figsize = (2,4))
    sns.boxplot(y = df['value'])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]  
**3.使用DataFrame**

plt.figure(figsize = (8,6))
    outlier = df.boxplot(return_type = 'dict')
    y = outlier['fliers'][0].get_ydata() # 异常值
    
    >>> array([-2.77469866, -3.34116132, -2.63179198, -2.86258467, -2.78270229,
            3.16184297,  2.56223178,  3.88393179,  2.64408153,  3.57854296,
            2.65740944,  3.07993558])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]

# 离群值的处理方法 #

一般情况下保留，此时数据应用程序是围绕离群值，因此不能丢弃离群值。异常检测模型通常用于客户异常识别，例如信用卡欺诈，贷款批准识别，药物突变识别，恶劣天气预测，网络入侵检测，流量欺诈检测等。在这种情况下，异常数据本身就是目标数据。

**彻底删除**：如果想找出一般的规律，而且异常值也不太多，可以考虑删除。因为异常值可能会影响结论。例如跳水比赛中计算选手最后得分都会去掉一个最高分，去掉一个最低分。

**对数转换**：对数据进行对数转换可以让数据的分布变的更加集中并且不会变化原有数据的相对关系和分布状态。这样对存在离群值的数据集合影响变化不是很大。

df["value"] = np.log(df["value"])
    sns.distplot(df['value'])

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]

**保留异常**：因为异常值代表的也是真实发生的事件，背后是具体的行为。有些值即使异常，也不会影响模型。但是在进行拟合的时候并没有使模型造成太大偏差。所以这种异常值对我们的模型来说很合理。

plt.figure(figsize = (12,6))
    plt.subplot(1,2,1)
    sns.scatterplot(x='value_type', y='value',data = df)
    plt.subplot(1,2,2)
    sns.regplot(x='value_type', y='value',data = df)

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]  
**做为缺失值填充**：直接删除数据可能会损失信息，放任不管可能又影响模型，因此可以考虑用均值、临近值进行填充。应用原有数据信息对离群值赋予一个相对合理的新值的方法。对数据进行赋值的方法还可以使用随机赋值、最近点赋值、均值赋值、回归赋值等。插值法是对数据赋值的一种方法，一般指的是线性插值（ linear interpolation ）。

**截尾**：只取数据集合中 **2.5% ~ 97.5%** 的范围内数据。

def cut_data(data,cut1,cut2):
        len_data = len(data)
        p1 = int(len_data * cut1)
        p2 = int(len_data * cut2)
        return data[p1:p2]
    
    cut_data(data,0.25,0.975)

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70]: /images/20221005/4078d18d2fd0424aa64b1f2084543dec.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 1]: /images/20221005/8e39f4d6da254a098c513e44351b4e5a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 2]: /images/20221005/54339a1682df402ca3fdf7cff5bb5d24.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 3]: /images/20221005/a437de08ff684fac97067a9afb9f50c9.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzIwMjg4MzI3_size_16_color_FFFFFF_t_70 4]: /images/20221005/4e0647b6795b4939877253c37e111522.png