「Python 数据处理基础」数据重复值的统计和处理2种常用方法

女爷i 2022-10-12 12:08 613阅读 0赞

### 文章目录 ###

*  内容介绍
 *  数据去重
 *  数据去重统计
 *  数据去重方法

# 内容介绍 #

在日常的数据分析工作中，经常会遇到的一个问题就是：重复数据。重复数据在进行数据分析或数据挖掘的过程中，对其输出结果有重要的影响。比如，在逻辑回归分析中，重复数据会影响模型的拟合优度；数据分析中，重复数据会影响预测内容准确性。有些相关分析中还会有共线性的问题，因此重复数据需要进行一定的处理，以达到消除异常，纠正错误和弥补丢失的目的。

# 数据去重 #

1.  具有完全相同的数据值的多个数据记录。这是数据复制的最常见情况。
2.  数据主体相同，但匹配的唯一属性值不同。同一事实表的主体将匹配同一属性的多个值。重复数据删除是重复值处理的主要方法，主要目的是保留唯一可以显示特征的数据记录。

重复记录用于分析演化规律，记录用于检测业务规则问题，以了解实际情况。

# 数据去重统计 #

**DataFrame统计**

# 标记重复值
    df.duplicated(subset = ['字段名'])
    >>> 111 False

**collections统计**

from collections import Counter
     
    print(list_)
    counter = Counter(list_)
    dictionary = dict(list_)
    print(dictionary) # 结果为字典统计重复次数 
    print(counter.most_common(2)) # 结果为列表元组统计重复次数

# 数据去重方法 #

对于基于分析应用程序的数据集，重复记录的存在不会直接影响实际操作。毕竟，数据集主要用于分析。但是对于交易数据，重复数据可能意味着主要的操作规则问题。尤其是当这些重复的值出现在与业务运营中的资金相关的业务场景中时，例如重复的订单，重复的充值，重复的预订，重复的出站申请等。

**List数据去重**

list_ = ['a','a','b','b','c']
    list(set(list_))
    >>> ['c', 'a', 'b']

**DataFrame去重**

df.drop_duplicates(subset = ['字段名'],keep='first')
    # keep='frist'：除了第一次出现外，其余相同的被标记为重复
    # keep='last'：除了最后一次出现外，其余相同的被标记为重复
    # keep=False：所有相同的都被标记为重复