pandas数据预处理------去除‘记录重复’的3种方法

╰半夏微凉° 2024-02-19 00:17 46阅读 0赞

## 常见的数据重复包括： ##

### 1.记录重复--一个或多个特征的某条记录的值完全相同 ###

### 2.特征重复--存在一个或者多个特征名称不同，但数据完全相同的情况 ###

## 去除‘记录重复’的3种方法 ##

# coding: utf-8
    
    # 去除‘记录重复’的3种方法
    
    # 法1---利用list去重
    
    import pandas as pd
    detail=pd.read_csv(r'D:\save\detail.csv',index_col=0,encoding='gbk')
    
    # 定义去重函数
    def delRep(list1):
        list2=[]
        for i in list1:
            if i not in list2:
                list2.append(i)
        return list2
    
    dishes=list(detail['dishes_name'])
    
    print('去重之前菜品总数：',len(dishes))
    
    dish=delRep(dishes)
    
    print('去重之后菜品总数：',len(dish))
    
    
    # 法2--利用set元素唯一的特性去重
    
    print('去重之前菜品总数：',len(dishes))
    
    dish_set=set(dishes)
    
    print('利用set元素唯一的特性去重',len(dish_set))
    
    
    # 法3---pandas模块中的drop_duplicates去重方法，只对DataFrame和Series有效
    
    dishes_name=detail['dishes_name'].drop_duplicates()
    
    print('drop_duplicates方法去重之后',len(dishes_name))
    
    
    # 使用drop_duplicates去重方法对多列去重
    
    print('去重之前',detail.shape)
    
    shapeDet=detail.drop_duplicates(subset=['order_id','emp_id']).shape
    
    print('依照订单号，会员编号去重之后订单详情表大小为:',shapeDet)

发表评论取消回复

表情：

评论列表（有 0 条评论，46人围观）

还没有评论，来说两句吧...

相关阅读

相关 pandas数据预处理------去除‘记录重复’的3种方法

常见的数据重复包括： 1.记录重复--一个或多个特征的某条记录的值完全相同 2.特征重复--存在一个或者多个特征名称不同，但数据完全相同的情况去除‘记录重

╰半夏微凉°/ 2024年02月19日 00:17/ 0 赞/ 47 阅读

相关 pandas数据预处理------去除‘特征重复’的2种方法

常见的数据重复包括： 1.记录重复--一个或多个特征的某条记录的值完全相同 2.特征重复--存在一个或者多个特征名称不同，但数据完全相同的情况去除特征重复

电玩女神/ 2024年02月19日 00:17/ 0 赞/ 57 阅读

相关 pandas常用预处理方法

1. 求均值，表格中含有空值： The result of this is that mean_age would be nan. This is

淩亂°似流年/ 2023年06月19日 13:25/ 0 赞/ 96 阅读

相关 pandas数据预处理实例

1. 排序，默认从小到大排 By default, pandas will sort the data by the column we speci

我不是女神ヾ/ 2023年06月19日 11:01/ 0 赞/ 122 阅读

相关 Java中List集合去除重复数据的四种方法

转载：[https://www.cnblogs.com/niwotaxuexiba/p/9681104.html][https_www.cnblogs.com_niwotaxu

比眉伴天荒/ 2022年12月15日 15:27/ 0 赞/ 175 阅读

相关 List去除重复数据的五种方式

链接：https://blog.csdn.net/qq\_37939251/article/details/90713643 List在Java开发中用得非常多，数据处理方面

清疚/ 2022年10月31日 10:51/ 0 赞/ 177 阅读

相关 List 去除重复数据的五种方式

点击上方“程序猿技术大咖”，关注并选择“设为星标” 回复“加群”获取入群讨论资格！以下介绍五种不同的方法去除Java 中ArrayList中的重复数据。 1.使用Li

骑猪看日落/ 2022年10月27日 01:44/ 0 赞/ 190 阅读

相关 Java 去除重复数据的五种方式

1.使用LinkedHashSet删除arraylist中的重复数据 LinkedHashSet是在一个ArrayList删除重复数据的最佳方法。LinkedHashSet

深碍√TFBOYSˉ_/ 2022年09月11日 11:30/ 0 赞/ 256 阅读

相关 oracle去除重复数据常用的方法

创建测试数据 create table nayi224_180824(col_1 varchar2(10), col_2 varchar2(10), col_3 va

迈不过友情╰/ 2021年09月27日 08:42/ 0 赞/ 453 阅读

相关 List去除重复数据的五种方式

以下介绍五种-不同的方法去除 Java 中ArrayList中的重复数据 1.使用LinkedHashSet删除arraylist中的重复数据 LinkedHashSe...

小灰灰/ 2021年02月12日 17:10/ 0 赞/ 613 阅读