python数据挖掘笔记（1）—数据预处理

冷不防 2022-06-12 01:10 321阅读 0赞

**一、数据清洗**

1.缺失值处理

均值，中位数，众数插补

使用固定值

最近邻插补

回归方法

插值法（拉格朗日插值法，lagrange();牛顿插值法；样条插值法，等等）

2.异常值处理

删除含有异常值的记录

视为缺失值

平均值修正

不处理（是在引起异常的原因正常的情况下）

**二、数据集成**

数据挖掘需要的数据往往分布在不同的数据源里，数据集成就是把多个数据源合并到一个一致的数据存储。

**三、数据变换**

1.简单函数变换

如可把不具有正态分布的数据变换成正态分布的数据

简单的对数变换或差分变换可以把非平稳序列变成平稳序列

可使用对数变换将大区间数据压缩变换成小区间数据

2.规范化

最小-最大规划化，也称离差标准化，将数据映射到\[0,1\]之间

![Image 1][]

零-均值规范化，也称标准差标准化，处理后数据均值为0，标准差为1

![Image 1][]

小数定标规范化

通过移动属性值的小数位数，将属性值映射到\[-1,1\]之间，移动的小数位数取决于属性值绝对值的最大值。

![Image 1][]

3.连续属性离散化

就是再数据的取值范围内设定若干个离散的划分点，将取值范围划分为一些离散化的区间，最后用不同的符号或整数值代表落在每个子区间中的数据值。

等宽法

等频法

基于聚类分析的方法

4.属性构造

利用已有属性集构造新的属性。

5.小波变换

小波变换的方法在信号处理，图像处理，语音处理，模式识别，量子物理等领域都有广泛的应用

小波基函数是一种具有局部支集的函数，且平均值为0，小波基函数满足

![Image 1][]

**四、数据规约**

在大数据集上进行复杂的数据分析和挖掘需要很长的时间，数据规约产生更小但保持原数据完整性的新数据集，在规约后的数据集上进行分析和挖掘更有效率。

1.属性规约

属性规约通过属性合并来创建新属性维数，或者直接通过删除不相关的属性来减少数据维数，从而提高数据挖掘效率，降低计算成本。主要方法有：

合并属性

逐步向前选择

逐步向后删除

决策树归纳

主成分分析 from sklearn.decomposition import PCA

2.数值规约

数值规约通过选择替代的，较小的数据来减少数据量。主要方法有：

有参数方法：只需存放参数，不需要存放实际数据

线性回归

多元回归

对数线性模型

无参数方法：需要存放实际数据

频率直方图

聚类

抽样

[Image 1]:

发表评论取消回复

表情：

评论列表（有 0 条评论，321人围观）

还没有评论，来说两句吧...

相关阅读

相关数据挖掘（数据预处理,特征工程）

.StandardScaler 确保处理后的特征均值为0，方差为1，但是不确保特征任何特定的最大，最小值 2.RobustScaler 与StandardSca...

我不是女神ヾ/ 2024年04月17日 21:51/ 0 赞/ 91 阅读

相关数据挖掘（2）数据预处理

一、数据预处理 1.1概述 1. 数据预处理的重要性 > 1. 杂乱性：如命名规则。 > 2. 重复性：同一客观事...

迈不过友情╰/ 2024年04月17日 13:32/ 0 赞/ 80 阅读

相关 python数据清洗学习笔记--数据预处理

python数据清洗学习笔记–数据预处理文章目录 python数据清洗学习笔记--数据预处理 1、重复值处理 2、缺失值处理

古城微笑少年丶/ 2023年07月22日 09:00/ 0 赞/ 124 阅读

相关 python 数据预处理1

通过[Tushare][]或者[Tushare pro][]获取股票清单，但是有3707家企业，怎么挑选股票，我自己瞎琢磨。 1 根据各板块选择龙头股票 [mysql分

短命女/ 2023年05月30日 04:59/ 0 赞/ 16 阅读

相关数据挖掘 ➡ 预处理

预处理 1. 数据质量 2. 预处理 2.1 数据预处理 2.1.1 处理丢失数据

逃离我推掉我的手/ 2022年11月17日 14:56/ 0 赞/ 375 阅读

相关 Python数据分析与挖掘实战（数据预处理）

-------------------- 操作系统：Windows Python：3.5 欢迎加入学习交流QQ群：657341423 ---------------

心已赠人/ 2022年06月14日 08:06/ 0 赞/ 338 阅读

相关 python数据挖掘笔记（1）—数据预处理

一、数据清洗 1.缺失值处理均值，中位数，众数插补使用固定值最近邻插补回归方法插值法（拉格朗日插值法，lagrange();牛顿插值法；样条插值法，等等）

冷不防/ 2022年06月12日 01:10/ 0 赞/ 322 阅读

相关数据挖掘学习笔记（1）

碎碎念：最近选修了联合国教科文组织国际工程科技知识中心的计算机科学微学位，里面包括《数据结构和算法设计》《数据挖掘:理论和算法应对大数据》《计算思维和数据科学导论》《使用Rub

Myth丶恋晨/ 2022年02月28日 00:42/ 0 赞/ 289 阅读

相关数据挖掘--数据预处理(1)

这篇博客总结在数据挖掘，数据预处理阶段常用的方法和技巧，对于kaggle和天池的比赛和适用 import pandas as pd train_pd

﹏ヽ暗。殇╰゛Y/ 2022年02月09日 13:34/ 0 赞/ 415 阅读

相关数据挖掘——数据预处理（2）

统计缺失值 train = pd.read_csv("train.csv") null_columns=train.columns[train.isnu

约定不等于承诺〃/ 2022年01月21日 02:57/ 0 赞/ 359 阅读