Python 数据清洗及预处理常用代码整理

快来打我* 2022-11-18 04:36 251阅读 0赞

###### 注意代码中LONGITUDE、LATITUDE、SPEED、DIRECT等属于博主做交通数据处理时的残留模板。如要自定义使用替换为使用场景下的对应词句即可 ######

import pandas as pd
    import numpy as np
    import matplotlib.pyplot as pit
    # %matplotlib inline
    
    import csv
    import codecs
    import openpyxl
    
    
    # 为添加列标题【如果原始数据没有】
    def formulate(file_name):
        df = pd.read_csv(file_name, header=None)
        tt = ["ID_0", "ID_1", "ID_2", "EMPTY", "LONGITUDE", "LATITUDE", "SPEED", "DIRECT", "STATUS", "CPS_Y", "CPS_MON",
              "CPS_D", "CPS_H", "CPS_MIN", "CPS_S", "CARTYPE"]
        # R2G = pd.read_csv(RF_PATH, header=None)
        insertRow = pd.DataFrame([tt])
        # R2G = pd.concat([instertRow, R2G], ignore_index = True)
        R2G = insertRow.append(df, ignore_index=True)
        R2G.to_csv(file_name, header=None, index=None)
        df = pd.read_csv(file_name, index_col=0)
    
    
    # file_name为写入CSV文件的路径，datas为要写入数据列表
    def data_write_csv(file_name, datas):
        file_csv = codecs.open(file_name, 'w+', 'utf-8')  # 追加
        writer = csv.writer(file_csv, delimiter=' ', quotechar=' ', quoting=csv.QUOTE_MINIMAL)
        for data in datas:
            writer.writerow(datas)
        print("保存文件成功，处理结束")
    
    
    # 同上存储为text格式
    def text_save(filename, data):
        file = open(filename, 'a')
        for i in range(len(data)):
            s = str(data[i]).replace('[', '').replace(']', '') 
            # 去除[],这两行按数据不同，可以选择
            s = s.replace("'", '').replace(',', '') + '\n'  
            # 去除单引号，逗号，每行末尾追加换行符
            file.write(s)
        file.write(str(data))
        file.close()
        print("保存文件成功")
    
    
    # -------------------------------------------------------------【设置pd设定】
    
    # 显示所有列
    pd.set_option('display.max_columns', None)
    
    # 显示所有行
    pd.set_option('display.max_rows', None)
    
    # 设置value的显示长度为100，默认为50
    pd.set_option('max_colwidth', 100)
    
    # -------------------------------------------------------------【数据基础信息】
    filename = '输入需要预处理的数据所在的文件地址'
    
    # 如果原始数据没有列标题启用添加【注意自定义函数设定】
    # formulate(filename)
    
    df = pd.read_csv(filename, header=None)
    # 查看数据特征
    print("数据特征：(数据总数【行】, 属性个数【列】)")
    print(df.shape)
    
    # 查看数据结构
    print("数据结构：")
    print(df.info())
    
    # 查看详细描述【数值型数据】
    print("数据详细描述：")
    print(df.describe())
    
    # 描述结果输出csv
    df.describe().to_csv('./output.csv')
    map_point = df[['LONGITUDE', 'LATITUDE']]
    map_point.to_csv('./output_points2.csv')
    
    # 取数据项名称
    COL = df.columns.values
    print(COL)
    
    # 列表代码推导式循环COL中数据项名称进行去空格操作【strip函数一次只能处理一个数据】
    df.columns = [x.strip() for x in COL]
    
    # -------------------------------------------------------------【重复值处理】
    
    # 重复值检查 duplicated() 返回布尔型数据，告知重复值的位置
    # 注意：当两条数据各项完全重复时才会认定为重复值，默认执行从前向后的重复值查找，所以重复值标记会在后重复数据中显示为TRUE
    print(df.duplicated())
    
    # 重复值数据的个数
    print("重复值数据量统计：")
    print(df.duplicated().sum())
    
    # 删除重复值数据【inplace=TRUE表示直接在原始数据上进行删除操作
    df.drop_duplicates(inplace=True)
    
    # 修改原始数据后可能需要重置index下标排序以便后续针对特殊数据定位
    df.index = range(df.shape[0])
    
    # -------------------------------------------------------------【异常值处理】
    
    # 以三倍标准差为衡量标准找出异常值
    sta = (df['DIRECT'] - df['DIRECT'].mean()) / df['DIRECT'].std()
    print(sta)
    
    # 保存sta数据
    text_save('./output.txt', sta)
    
    # 筛选定位出大于三倍标准差的异常数据和其index  实际index = 输出结果 + 2
    df[sta.abs() > 3]
    print(df[sta.abs() > 3])
    print(df[sta.abs() > 3].index)
    print(sta)
    
    # 建模时通常删除异常值，但异常值也蕴含业务价值 concat可以合成提取
    delindex = pd.concat([df[sta.abs() > 3]]).index
    print("异常值index定位：")
    errorIndex = df[sta.abs() > 3].index
    print(errorIndex)
    
    # inpalce=True时直接在原始数据上进行修改
    df.drop(errorIndex, inplace=True)
    df.drop(errorIndex)
    
    # -------------------------------------------------------------【缺失值处理】
    # 查找是否存在缺失值，并统计缺失数量
    print("缺失值数据量：")
    print(df.isnull().sum())
    
    # 若存在缺失值
    # ①利用数据内部的关联直接替代缺失数据
    # df.object_name.isnull()定位缺失值所在数据对象
    df.loc[df.SPEED.isnull(), 'SPEED'] = [str(x)[:6] for x in df.loc[df.SPEED1.isnull(), 'SPEED1']]
    
    # 此处是将对应可用于填补缺失的数据通过values取出后str化为字符串列表
    # 进行对应index 5-6位置数据的提取
    df.loc[df.AREA.isnull(), 'AREA'] = str(df.loc[df.AREA.isnull(), 'AREADETAIL'].values)[5:6]
    
    # ②通过fillna进行缺失值填补
    df['SPEED'].fillna(round(df['SPEED'].mean(), 0), inplace=True)
    
    # 【, a】的作用
    print("[xxx, 0]时结果如下：")
    print(round(df['SPEED'].mean(), 0))
    print("[xxx, 1]时结果如下：")
    print(round(df['SPEED'].mean(), 1))
    
    # 处理文本型数据部分省略