什么是数据挖掘?分析如何揭示洞察

灰太狼 2021-09-19 12:10 330阅读 0赞

数据挖掘是通过大量数据集进行分类以识别趋势和模式并建立关系的自动化过程。

如今的组织正在收集来自各种来源的日益增长的信息量，包括网站、企业应用程序、社交媒体、移动设备以及日益增加的物联网(IoT)。

最大的问题是：如何从这些信息中获得真正的商业价值?数据挖掘可以在很大程度上做出贡献。数据挖掘是通过大量数据集进行分类的自动化过程，以通过数据分析来识别趋势和模式，建立关系，解决业务问题或产生新的机会。

查看数据来了解过去发生的事情以便能够在现在明智地行动只是一方面。数据挖掘工具和技术让你可以预测未来会发生什么，并采取相应的行动来利用即将到来的趋势。

“数据挖掘”这个术语在IT行业中被广泛使用。它常常被应用于各种大规模的数据处理活动，如收集、提取、仓储和分析数据。它还可以包括决策支持的应用程序和技术，如人工智能、机器学习和商业智能。

数据挖掘在商业和研究的很多领域被使用，包括产品开发、销售和营销、遗传学和控制论——这里仅举几例。如果使用得当，数据挖掘与预测分析相结合可以为你提供比没有使用这些工具的竞争对手更大的优势。

从数据挖掘中获取业务价值

数据挖掘的真正价值在于能够以数据中的模式和关系的形式挖掘隐藏的宝石，这可以用来做出对企业有重大影响的预测。

例如，如果一家公司确定特定的营销活动导致在该国某些地区的某种产品的特定型号的销售额非常高，而在其它地区则不然，那么它可以在将来重新调整该广告活动以获得最大的回报。

该技术的好处可能会因业务类型和目标而异。例如，零售业的销售和营销经理可能用不同的方式挖掘客户信息，以提高转化率，这种提高转化率的方式迥异于航空公司或金融服务业。

不管是什么行业，过去应用于销售模式和客户行为的数据挖掘都可用于创建预测未来销售和行为的模型。

数据挖掘也有助于取消可能损害企业的活动。例如，你可以使用数据挖掘来提高产品的安全性，或检测保险和金融服务交易中的欺诈活动。

数据挖掘的应用

数据挖掘几乎适用于所有行业的各种应用。

·零售商可以部署数据挖掘，以更好地识别人们根据过去的购买习惯可能购买哪个产品，或者哪些商品在一年的某些时间可能热卖。这可以帮助商家规划库存和存储布局。

·银行和其他它金融服务提供商可以挖掘与其客户帐户、交易和渠道偏好相关的数据，以更好地满足他们的需求。它们还可以从他们的网站和社交媒体互动中分析数据，以增加现有客户的忠诚度并吸引新客户。

·制造企业可以使用数据挖掘在生产过程中发现模式，从而可以精确地识别出瓶颈和有缺陷的方法，并设法提高效率。它们还可以将知识从数据挖掘应用于产品设计，并根据客户体验的反馈进行调整。

·教育机构可以从数据挖掘中受益，例如分析数据集，以预测学生的未来学习行为和表现，然后利用这些知识来改进教学方法或课程。

·医疗保健提供者可以挖掘和分析数据，以确定向患者提供护理和降低成本的更好的方法。在数据挖掘的帮助下，他们可以预测需要照顾的病人数量以及患者需要什么类型的服务。在生命科学领域，数据挖掘可用于从大量生物数据中获取洞察，帮助开发新药和其他治疗方法。

·在包括医疗保健和零售在内的多个行业，你可以使用数据挖掘来检测诈骗和其它滥用行为——比传统的识别此类活动的方法要快得多。

数据挖掘的关键组成部分

数据挖掘的过程包含满足不同需求的几个不同的组件：

·预处理。在应用数据挖掘算法之前，你需要构建一个目标数据集。数据的一个常见来源是数据集市或仓库。你需要执行预处理才能分析数据集。

·数据清洗和准备。目标数据集必须清理和准备，以消除“噪点”，处理缺失值，过滤外围的数据点(用于异常检测)以消除错误或进行进一步的探索，创建分段规则以及执行与数据准备相关的其它功能。

·关联规则学习(也称为市场篮子分析)。这些工具搜索数据集中的变量之间的关系，例如确定商店中的哪些商品通常被一起购买。

·集群。数据挖掘的这个特征用于发现数据集中的某种程度上互相类似的组和结构，而不用数据中的已知结构。

·分类。执行分类的工具将已知结构推广到适用于新的数据点，例如当电子邮件应用程序尝试将邮件分类为合法邮件或垃圾邮件时。

·回归。这种数据挖掘技术用于在给定特定数据集时预测一系列数值，例如销售量、住房价值、温度或价格。

·总计。该技术提供了数据集的精简表示，包括可视化和报告生成。

有数十家供应商提供数据挖掘软件工具，一些提供专门的软件，其它的通过开源的努力提供产品。

提供专门的数据挖掘软件应用程序的关键供应商包括Angoss、Clarabridge、IBM、Microsoft，Open Text、Oracle、RapidMiner、SAS Institute和SAP。

提供开源数据挖掘软件和应用程序的组织包括Carrot2、Knime、Massive Online Analysis、ML-Flex、Orange、UIMA和Weka。

数据挖掘的风险和挑战

数据挖掘也有其风险和挑战。与涉及潜在的敏感或个人身份信息的使用的任何技术一样，安全和隐私是最大的问题之一。

在基本层面上，被开采的数据必须完整、准确和可靠;毕竟，你正在用它做重要的业务决策，并经常与公众、监管机构、投资者和业务合作伙伴进行互动。现代数据形式还需要新型的技术，例如将来自各种分布式计算环境(又称大数据集成)的数据集合起来的技术，以及诸如图像和视频、时间数据和空间数据等更复杂的数据组合在一起的技术。

获取正确的数据，然后将其放在一起，以便我们可以挖掘，这不是对IT的挑战的结束。云、存储和网络系统需要实现数据挖掘工具的高性能。我们要把从数据挖掘中得到的信息清晰地呈现给希望对其进行操作和解读的广大用户。你将需要具备数据科学和相关领域技能的人才。

从隐私的角度来看，挖掘与人们行为方式相关的信息，他们购买什么，访问什么网站等等的想法可以引起企业收集太多信息的担忧。这不仅影响你的技术实施，而且还会影响你的业务战略和风险状况。

除了如此彻底的追踪个人的道德规范外，还有法律规定如何收集数据、识别一个人并共享数据。美国义务型可携带式健康保险法案(HIPAA)和欧盟的通用数据保护指令(GDPR)是众所周知的。

在数据挖掘中，准备本身的初始行为(例如聚集然后使数据合理化)可以揭示可能危及数据机密性的信息或模式。因此，不经意地违反道德问题或法律要求是有可能的。

数据挖掘的每一步还需要数据保护，以确保数据不被偷窃、改变或秘密访问。安全工具包括加密、访问控制和网络安全机制。

数据挖掘是一个关键的区分因素

尽管存在这些挑战，但数据挖掘已成为很多组织IT战略的重要组成部分，这些组织力图通过收集或访问的所有信息获得价值。随着预测分析、人工智能、机器学习和其它相关技术的不断进步，这一驱动力无疑将加速。

本文转自d1net（转载）

发表评论取消回复

表情：

评论列表（有 0 条评论，330人围观）

还没有评论，来说两句吧...

相关阅读

相关抖音大数据分析：如何通过数据洞察用户行为？

通过抖音大数据分析，可以深入了解用户的行为习惯、兴趣偏好以及消费模式。以下是一些关键步骤和数据分析点： 1. 数据收集：首先，你需要从抖音平台获取大量的用户行为数据，包括但不

﹏ヽ暗。殇╰゛Y/ 2024年12月28日 09:00/ 0 赞/ 29 阅读

相关数据挖掘是什么

数据挖掘是一种通过使用计算机程序来自动发现大量数据中的模式的过程。它是一种用于提取有价值信息和知识的技术，可以用来帮助决策者更好地了解数据和市场，从而改善业务流程、产品设计和市

布满荆棘的人生/ 2024年03月26日 08:46/ 0 赞/ 82 阅读

相关什么是大数据挖掘？

![format_png][] 数据挖掘(Data Mining)是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息

谁借莪１个温暖的怀抱￠/ 2023年06月17日 09:56/ 0 赞/ 47 阅读

相关数据挖掘的过程是什么？通俗易懂

数据挖掘的过程是什么？ 01 数据挖掘过程 1. 数据采集 2. 特征提取和数据清洗 3. 分析处理和算法 02 数据

╰半橙微兮°/ 2022年11月05日 00:56/ 0 赞/ 242 阅读

相关什么是数据挖掘

数据挖掘（Data Mining）技术是人们长期对数据库技术进行研究和开发的结果。起初各种商业数据是存储在计算机的数据库中的，然后发展到可对数据库进行查询和访问，进而发展到对数

Myth丶恋晨/ 2022年09月10日 06:18/ 0 赞/ 217 阅读

相关程序员怎能不知道什么是数据挖掘

视乎已经听到或看到无数遍数据挖掘了，那么，你知道那是什么吗？关于什么是数据挖掘，很多学者和专家给出了不同的定义，以下我们列出几种常见的说法： “简单地说，数据挖掘是从大量数

梦里梦外;/ 2022年08月14日 03:51/ 0 赞/ 263 阅读

相关什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析？<二>

3　机器学习随着2006年以Hadoop为代表的大数据技术的蓬勃兴起，解决了数据库时代的数据存储和处理能力的不足限制；云计算技术的大规模应用，比如Amazon和阿里云为

古城微笑少年丶/ 2022年06月16日 00:41/ 0 赞/ 279 阅读

相关什么是人工智能、机器学习、深度学习、数据挖掘以及数据分析？<一>

０　数据时代/人工智能时代的降临前夜从2016年开始，业界忽然针对机器学习和人工智能的追捧大行其道，其中更以Google推出的AlphaGo程序在2016年３月以４:1

比眉伴天荒/ 2022年06月16日 00:41/ 0 赞/ 269 阅读

相关学习数据挖掘的最佳路径是什么？

![a4a031495ee3e35fcef81a90a53b70b0.jpg][] 上一节中，我给你分享了数据分析的全景图，其中最关键的部分就是数据挖掘，那什么是数据挖掘呢？

淡淡的烟草味﹌/ 2022年03月22日 06:54/ 0 赞/ 266 阅读

相关什么是数据挖掘?分析如何揭示洞察

数据挖掘是通过大量数据集进行分类以识别趋势和模式并建立关系的自动化过程。如今的组织正在收集来自各种来源的日益增长的信息量，包括网站、企业应用程序、社交媒体、移动设备以及日益

灰太狼/ 2021年09月19日 12:10/ 0 赞/ 331 阅读