python实验二数据预处理_数据清洗与预处理-Python实现

骑猪看日落 2022-10-31 15:56 271阅读 0赞

这个Python版本必须是3.7的

首先讲一下数据清洗与预处理的定义

在百度百科中的定义是 - 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后的数据清理一般是由计算机而不是人工完成。

我自己理解的是，在我们不管是机器学习建模还是进行数据分析或者数据挖掘操作，我们首先都需要对数据进行预处理。我们拿到手的初始数据往往会存在缺失值、重复值、异常值或者错误值，影响实验结果，我们就需要进行数据清洗。或者是想要保持数据的一致性，也可以数据清洗。有时数据的原始变量不满足分析的要求，我们需要先对数据进行一定的处理，也就是数据的预处理。

数据清洗与预处理的目的是提高数据的质量，提高实验结果的可靠度。

连接数据库

import numpy as np

from pandas import DataFrame

import pandas as pd

import matplotlib.pyplot as plt

导入数据集

假设我们有一个已知的数据集如下：

\{state’:\[‘a’,‘b’,‘c’,‘a’,‘b’,‘c’\],

‘year’:\[2018,2016,2017,2018,2016,2017\],

‘average’:\[87,85,88,87,85,88\]\},

from pandas import DataFrame

\#导入数据集

data = \{'state':\['a','b','c','a','b','c'\],

'year':\[2333,2019,2617,2333,2016,2617\],

'avgage':\[55,85,89,55,85,89\]

\}

frame = DataFrame(data,columns=\['year','state','avgage'\])

\#DataFrame是一种表格型数据结构,具有行索引，也有列索引。列索引为year、state、avgage

print('原始数据:')

print(frame)

也可以读入数据集(csv文件)

datasets = pd.read\_csv('my\_data.csv')

发现重复与冗余

frame.duplicated().any

frame.drop\_duplicates() \# 删除重复值,会删除除第一条后的，默认对所有变量判断

frame.duplicated().count

处理缺失值

frame.isnull().any(axis=0)\# 判断各变量中是否存在缺失值

frame.isnull().sum(axis=0)\# 各变量中缺失值的数量

frame.fillna()\#就是使用指定的方法填充NA / NaN值，填充为0

frame.count()\#是用来计算每一列或每一行的非na细胞，会返回对于每一列/行，非na /null项的数量

均值和自定义函数，比较麻烦单独说一下

\#第一列指定众数填充，第二列使用众数，第三列使用均值。

\#关于均值，frame.mean()，但是列中含有NA / NaN，无法评判什么类型，取第一个众数，来填充state列

\#众数就是frame.mode函数。

frame.fillna(frame.mean())

frame\['state'\].fillna(frame.mode()\['state'\]\[0\])

\#运用自定义函数来填充, 假设自定义函数就是取众数的第一个值

fi=lambda x:x.fillna(x.mode()\[0\])

f=frame.apply(fi)

print('填充之后的结果：')

print(f)

数据集成

就需要不止一个的数据集

pd.merge(left, right, how='inner'/'left'/'right', on=None, left\_on=None, right\_on=None, left\_index=False, right\_index=False, sort=True

, suffixes=('\_x', '\_y'), copy=True, indicator=False)

pd.concat(\[df1,df2,df3\], ignore\_index=True)\#concat函数是在 pandas底下的方法，可以将数据根据不同的轴作简单的融合

pd.concat(\[df1,df2,df3\], ignore\_index=True，axis= 1)\#当axis = 1的时候，concat就是行对齐，然后将不同列名称的两张表合并

数据变换(统一格式并标准化)

简单函数变换的常见方法：平方、开方、对数、差分运算等。

标准化、归一化、离散化。

![d625967e308c41c05d8143ae2994f301.png][]

f = lambda x: ( x - min(x) )/ ( max(x) - min(x) )

\#tranform()的作用是通过找中心和缩放等实现标准化

\['optional'\].transform(f)

f = lambda x: ( x - x.mean() )/ x.std()

\['optional'\].transform(f)

其实还可以通过导库实现，会更简单一些。在这里也就不多说了。

制作人：只识闲人不识君

日期：2020.07.14

本文地址：https://blog.csdn.net/weixin\_46069678/article/details/107330392

希望与广大网友互动？？

点此进行留言吧！

[d625967e308c41c05d8143ae2994f301.png]: /images/20221024/33201910a7d846558ed599c4f9cf712c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，271人围观）

还没有评论，来说两句吧...

相关阅读

相关数据清洗与预处理：在Python中使用Pandas进行操作示例

数据清洗与预处理是数据分析的重要环节，主要目的是消除数据中的噪声、缺失值和异常值等。下面我们将用Python的Pandas库来演示数据清洗和预处理的一些常见步骤： 1.

分手后的思念是犯贱/ 2024年12月16日 23:45/ 0 赞/ 13 阅读

相关使用Python进行数据清洗与预处理案例分享

在数据分析过程中，数据清洗和预处理是非常关键的步骤。下面我将分享一个使用Python进行数据清洗与预处理的案例。 **案例：**假设我们有一个CSV文件，其中包含缺失值、异常

女爷i/ 2024年12月16日 07:42/ 0 赞/ 10 阅读

相关用Python实现数据预处理

作者：Afroz Chakure > > 翻译：疯狂的技术宅 > > 原文：[towardsdatascience.com/data-prepro…][toward...

曾经终败给现在/ 2024年04月17日 06:30/ 0 赞/ 68 阅读

相关 python数据清洗学习笔记--数据预处理

python数据清洗学习笔记–数据预处理文章目录 python数据清洗学习笔记--数据预处理 1、重复值处理 2、缺失值处理

古城微笑少年丶/ 2023年07月22日 09:00/ 0 赞/ 123 阅读

相关 python 数据预处理1

通过[Tushare][]或者[Tushare pro][]获取股票清单，但是有3707家企业，怎么挑选股票，我自己瞎琢磨。 1 根据各板块选择龙头股票 [mysql分

短命女/ 2023年05月30日 04:59/ 0 赞/ 15 阅读

相关 Python 数据清洗及预处理常用代码整理

注意代码中LONGITUDE、LATITUDE、SPEED、DIRECT等属于博主做交通数据处理时的残留模板。如要自定义使用替换为使用场景下的对应词句即可 imp

快来打我*/ 2022年11月18日 04:36/ 0 赞/ 250 阅读

相关 python实验二数据预处理_数据清洗与预处理-Python实现

这个Python版本必须是3.7的首先讲一下数据清洗与预处理的定义在百度百科中的定义是 - 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致

骑猪看日落/ 2022年10月31日 15:56/ 0 赞/ 272 阅读

相关 Python数据分析与挖掘实战（数据预处理）

-------------------- 操作系统：Windows Python：3.5 欢迎加入学习交流QQ群：657341423 ---------------

心已赠人/ 2022年06月14日 08:06/ 0 赞/ 338 阅读

相关 python数据挖掘笔记（1）—数据预处理

一、数据清洗 1.缺失值处理均值，中位数，众数插补使用固定值最近邻插补回归方法插值法（拉格朗日插值法，lagrange();牛顿插值法；样条插值法，等等）

冷不防/ 2022年06月12日 01:10/ 0 赞/ 321 阅读

相关用Python实现数据预处理

> 作者：Afroz Chakure > > 翻译：疯狂的技术宅 > > 原文：[https://towardsdatascience.com/data-preproces

旧城等待，/ 2021年12月11日 08:49/ 0 赞/ 354 阅读