数据挖掘和关联规则基本概念

骑猪看日落 2023-05-22 14:28 16阅读 0赞

##### 数据挖掘定义 #####

*  数据挖掘指的是从大量数据中挖掘出隐含的、先前未知的、对决策有潜在价值的知识和规则的高级处理过程。通过数据挖掘，有价值的知识、规则或者高层次的信息就能够从数据库的相关数据集合中抽取出来，并以不同的形式、角度进行显示，从而能够得到一个丰富的、可靠的知识获取资源库。比如：超市的经营者希望将经常被同时购买的商品放到一起，从而提高销售额；保险公司希望购买保险的客户具有哪些特征，从而可以为其它非保险用户推荐保险；医学上可能期望从成千上万的病历中找出某种疾病的某些特征，从而为治愈这类疾病提供一些方法。
 *  数据挖掘是面向应用的，包含了：简单的数据检索查询、微观乃至宏观的统计/分析/综合/推理、发现事件/样本之间的相互关系、指导问题的求解、未来的预测。
 *  数据挖掘定义：通过特定的算法，在可接受的计算效率限制内，从数据库中辨别有效的、新颖的、潜在有用的、最终可理解的模式的过程。

##### 数据挖掘分类 #####

按照数据挖掘的方法可以将数据挖掘分为：

*  统计方法：判别式方法、探索性方法等
 *  机器学习方法：回归分析、聚类分析、分类分析等
 *  神经网络方法：传统神经网络、卷积神经网络、循环神经网络等

按照挖掘任务来区分的话，可以将数据挖掘区分为：

*  关联规则挖掘：也常常称为购物篮分析，通常用于识别一些经常出现的商品集合和规则，其识别结果将用于指导交叉销售
 *  预测分析：该算法通常需要输入一个时间序列的数据集，考虑这些数据样本之间的顺序关系，需要考虑数据的基本趋势、周期性等问题，比如：股市明日股值是多少
 *  序列分析：用于在一系列离散的序列数据间发现模型，比如：DNA的序列模型、用户的购买商品序列（先购买计算机还是先购买音响）

##### 数据挖掘常用技术 #####

*  神经网络
 *  决策树
 *  Logistic
 *  SVM
 *  最近邻技术
 *  规则归纳

##### 数据挖掘和机器学习的区别 #####

*  机器学习主要针对特定模式的数据进行学习，也就是说在算法模型构建前，数据的模式特征属性已经是存在了的
 *  数据挖掘则是从实际的海量数据源中直接抽取知识，依赖既定的业务领域知识来进行模型的构建
 *  实际上数据挖掘中，常用的技术基本上都是机器学习的相关算法

##### 数据挖掘过程 #####

数据准备

*  数据集成：将多个数据源的数据进行合并处理，解决语义模糊性问题，处理数据中的遗漏和清洗数据等
 *  数据选择：辨别出需要分析的数据集合，缩小处理范围，提供数据挖掘的质量
 *  数据预处理：为了提高挖掘质量

数据挖掘

*  做出假设
 *  选择合适的工具/算法
 *  进行挖掘操作，得到知识
 *  证实发现的知识是否符合假设

结果表达和解释

##### 数据挖掘面临的问题 #####

*  数据是动态的而且数据量庞大，数据存在着噪声、不确定性、信息丢失、信息冗余以及数据分布稀疏等问题
 *  现在的理论和算法还有待发展和完善
 *  知识的表达形式现在还没有形成一个标准
 *  目前的数据挖掘的效果还不尽人意

##### 关联规则 #####

关联规则（Association Rule）是数据挖掘中最典型的工作之一，也是现阶段来讲数据挖掘产生利益价值的一个比较核心的技术，也称为购物篮分析。

##### 购物篮分析基本概念 #####

购物篮分析（Market Basket Analysis，MBA）是一种数据挖掘技术，主要目的是通过购物篮中的商品信息揭示不同商品之间的相似度。MBA分析可以帮助我们找到可能会一起购买的商品，我们将相似度最相近的商品放到一起会增加商品被购买的机会，从而使顾客购买更多的商品。  
定义：通过两件商品同时出现的频率来表示相似度，如果出现的频率越高，那么认为这两件商品的关联性越高。

##### 购物篮分析适用场景 #####

*  推荐系统
 *  精准营销
 *  超市购物分析
 *  电商网站购买情况分析
 *  医疗保险反欺诈识别分析

##### 购物篮分析相关概念 #####

*  交易集：包含所有数据的一个数据集合，数据集合中的每条数据都是一笔交易
 *  项：交易集中的每个商品被成为一个项
 *  模式/项集（ItemSet）：项组合被成为模式/项集
 *  支持度（Support）：一个项集在在整个交易集中出现的次数/出现的频度，比如：Support(\{A,C\})=2表示A和C同时出现的次数是2次
 *  最小支持度：交易次数达到最小支持度的情况下，该项集才会被计算
 *  频繁项集：如果项集的支持度大于等于最小支持度，那么该项集被称为频繁项集
 *  置信度（Confidence）：关联规则左件和右件同时出现的频繁程度，该值越大，表示同时出现的几率越大
 *  关联规则：LHS–>RHS（Confidence），如果客户购买了左件（LHS），也可能购买右件（RHS），购买的置信度为Confidence

##### 购物篮分析的步骤 #####

*  计算频繁项集：从每条交易中获取项集，然后计算项集的支持度，获得频繁项集
 *  产生项的关联规则（置信度）：根据每个频繁项集中的子项集的支持度占对应项集的支持度的百分比作为置信度

##### 购物篮分析的编码实现 #####

*  IDEA中创建基于Maven的Spark Core开发环境的项目
 *  构建模拟数据
 *  编写Spark Core实现购物篮分析
 *  测试运行