pandas数据预处理------去除‘特征重复’的2种方法

电玩女神 2024-02-19 00:17 63阅读 0赞

## 常见的数据重复包括： ##

### 1.记录重复--一个或多个特征的某条记录的值完全相同 ###

### 2.特征重复--存在一个或者多个特征名称不同，但数据完全相同的情况 ###

## 去除特征重复的2种方法 ##

### 1.通过相似度矩阵去重 ###

#### 要去除连续的特征重复，可以利用特征间的相似度将两个相似度为1的特征去除一个。在pandas中，相似度的计算方法为corr。使用该方法计算相似度时，默认为pearson方法，可以改为spearman法和kendall法。 ####

#### 通过相似度矩阵去重存在一个弊端，该方法只能对数值型重复特征去除，类别型特征之间无法通过计算相似系数来衡量相似度。 ####

### 2.通过DataFrame.equals方法进行特征去重 ###

#### 可以通过DataFrame.equals方法去重 ####

# coding: utf-8
    
    # 去除‘记录重复’的3种方法
    
    # 法1---利用list去重
    
    import pandas as pd
    
    detail=pd.read_csv(r'D:\save\detail.csv',index_col=0,encoding='gbk')
    
    # 去除‘特征重复’的2种方法
    
    
    # 法1---通过相似度矩阵去重
    
    
    # 求取售价和销量的相似度
    corrDet=detail[['counts','amounts']].corr(method='kendall')
    print('售价和销量的kendall法相似度矩阵为：\n',corrDet)
    
    
    # 法2---通过DataFrame.equals方法进行特征去重
    
    # 定义求取特征是否完全相同的矩阵的函数
    def FeatureEquals(df):
        dfEquals=pd.DataFrame([],columns=df.columns,index=df.columns)
        for i in df.columns:
            for j in df.columns:
                dfEquals.loc[i,j]=df.loc[:,i].equals(df.loc[:,j])
        return dfEquals
    detEquals=FeatureEquals(detail)
    print('detail的特征相等矩阵的前5行5列为:\n',detEquals.iloc[:5,:5])
    
    # 通过遍历的方式进行数据筛选
    
    
    lenDet=detEquals.shape[0]
    
    
    dupCol=[]
    
    
    for k in range(lenDet):
        for l in range(k+1,lenDet):
            if detEquals.iloc[k,l]&         (detEquals.columns[l] not in dupCol):
                dupCol.append(detEquals.columns[l])
    
    
    # 进行去重
    
    
    print('需要删除的列为',dupCol)
    
    
    detail.drop(dupCol,axis=1,inplace=True)
    
    
    print('删除多余列后detail的特征数目为:',detail.shape[1])