数据挖掘知识集锦

旧城等待， 2022-05-23 05:15 325阅读 0赞

**（原创作者：陈玓玏）**

关于数据挖掘的定义七七八八的，但是总的来说，数据挖掘是从海量数据中挖掘有用的行为模式等信息，帮助智能化的决策。

关于数据挖掘的步骤，也有很多划分，这里作者且大胆地按照自己的理解划分一下吧，分为需求理解、结果定义、数据收集、数据清洗、数据划分、特征提取、特征选择、模型选择、效果评估、模型监控、模型优化等步骤。这个是一个相对来讲比较细的划分了，不过每个细分步骤的存在都是有它的理由的。

1. 需求理解（数据挖掘服务于特定业务或决策需求）；

2. 结果定义（知道在决策中什么情况可以判定为好，什么情况应该判定为坏）；

3. 数据收集（根据想要做的决策，收集相关的业务数据）；

4. 数据清洗（将数据标准化、归一化、离散化）；

5. 数据划分（很多分析都需要做时间窗口的划分，比如分析用户的行为特征和当前行为的状态特征，需要划分不同的时间窗口分别分析）；

6. 特征提取（也就是造变量，把原始的业务数据变为更有意义的变量，通常涉及一些简单的统计，如求最大、最小、均值等）；

7. 特征选择（造的变量并不是每个都与主题有那么强的关联性，而且有的变量之间存在很强的相关性，会产生冗余，而这些又会使得模型容易过拟合，因为要做归约）；

8. 模型选择（这个就不用说了，模型本身就分很多种，做分类的，做聚类的，做回归的，每一种内部又存在很多模型，很多模型都有它的优缺点和适用场景，应该根据自己的业务需求、时间、样本量、数据类型等等来选择合适的模型）；

9. 效果评估（评估建模的成果）；

10. 模型监控（模型有时会不稳定，换一批样本量效果就大大折扣，而且数据挖掘本身就是一个探索的过程）；

11. 模型优化（这个就是调参啦，交叉验证啦，还有根据自己的经验去选择新的模型，提取新的变量，都属于模型优化的范畴）。

每个步骤内部还分很多方法，比如数据的清洗涉及的标准化，包括数据处理为统一格式，替换所有的缺失值为指定的缺失对象（比如pandas中的nan类型对象），又比如特征选择所涉及的冗余分析、特征过滤等，作者把自己学到的不完整的一些内容做了分类整理，还不够完善，后期还会慢慢往里面添加，但是能让大家在学习之后有个系统的概念。如果图中有些错误或者有什么希望补充的，可以给我留言，谢谢~

下面上图。

![20180603103135550][]

[20180603103135550]: /images/20220523/3ce518cc77dc46469616f757b8180ea0.png

发表评论取消回复

表情：

评论列表（有 0 条评论，325人围观）

还没有评论，来说两句吧...

相关阅读

相关【计算机前沿知识】大数据与数据挖掘

大数据概念大数据，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多

一时失言乱红尘/ 2022年11月13日 04:22/ 0 赞/ 337 阅读

相关常见的机器学习&数据挖掘知识点

常见的机器学习&数据挖掘知识点转载请说明出处 Basis(基础)： SSE(Sum of Squared Error, 平方误差和) SAE(S

叁歲伎倆/ 2022年08月04日 09:27/ 0 赞/ 353 阅读

相关数据挖掘知识图谱(大数据分析师)

![Center][] ![Center 1][] [Center]: https://img-blog.csdn.net/20161015162129140?waterm

蔚落/ 2022年07月16日 10:41/ 0 赞/ 295 阅读

相关数据挖掘知识点简要

神经网络：Θ代表偏置，w代表权值。加权和f=∑OiWij; ① 输出层净输入等于输入的加权和加上偏置I3=O1W13+O2W23+Θ3 ②;输出层3的输出O3=1/1+e-I3

素颜马尾好姑娘i/ 2022年05月27日 11:27/ 0 赞/ 274 阅读

相关数据挖掘知识点简要

神经网络：Θ代表偏置，w代表权值。加权和f=∑OiWij; ① 输出层净输入等于输入的加权和加上偏置I3=O1W13+O2W23+Θ3 ②;输出层3的输出O3=1/1+e-I3

╰半夏微凉°/ 2022年05月26日 20:18/ 0 赞/ 252 阅读

相关数据挖掘知识集锦

（原创作者：陈玓玏）关于数据挖掘的定义七七八八的，但是总的来说，数据挖掘是从海量数据中挖掘有用的行为模式等信息，帮助智能化的决策。关于数据挖

旧城等待，/ 2022年05月23日 05:15/ 0 赞/ 326 阅读

相关数据仓库和数据挖掘基础知识点

第一章数据仓库和数据挖掘概述一、概念题 1、数据仓库的定义是什么？

墨蓝/ 2022年03月19日 07:44/ 0 赞/ 389 阅读

相关数据挖掘相关知识与文章阅读

数据挖掘相关文章，文章水平怎么样先不做评价，只做了解！ ![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM

冷不防/ 2021年12月11日 07:21/ 0 赞/ 305 阅读

相关数据挖掘-为什么进行数据挖掘

为什么进行数据挖掘？ 1. 进入信息时代（信息时代数据量暴增）社会计算机化和功能强大的数据收集和存储工具导致数据的爆炸式增长；数据的爆炸式增长、广泛可用和巨

た入场券/ 2021年09月30日 06:06/ 0 赞/ 528 阅读

相关数据挖掘入门小知识

什么是数据挖掘数据挖掘（Data Mining）又称为：数据中的知识发现（KDD），也就是通过数据清理，数据集成，数据选择，数据变换，数据挖掘，模式评估，知识表示等一系

ゝ一纸荒年。/ 2021年06月11日 15:11/ 0 赞/ 662 阅读