02_d2-分类算法概述

电玩女神 2022-12-27 09:24 151阅读 0赞

# 02\_d2-分类算法概述 #

## 知识架构 ##

![2942dffce4d30d833b581162b63dd6bb.png][]\#\#\# 1.数据集

*  机器学习一般的数据集会划分为两个部分：
    
     *  训练数据：用于训练，构建模型
     *  测试数据：在模型检验时使用，用于评估模型是否有效
 *  API: sklearn.model\_selection.train\_test\_split
 *  scikit-learn数据集API介绍
 *  sklearn.datasets
    
     *  加载获取流行数据集
     *  datasets.load\_\*()
        
         *  获取小规模数据集，数据包含在datasets里
     *  datasets.fetch\_\*(data\_home=None)
        
         *  获取大规模数据集，需要从网络上下载，函数的第一个参数是data\_home，表示数据集下载的目录,默认是 ~/scikit\_learn\_data/
 *  获取数据集返回的类型
    
     *  load*和fetch*返回的数据类型 datasets.base.Bunch(字典格式)
        
         *  data：特征数据数组，是\[n\_samples \* n\_features\] 的二维 numpy.ndarray 数组
         *  target：标签数组，是n\_samples 的一维 numpy.ndarray 数组
         *  DESCR：数据描述
         *  feature\_names：特征名,新闻数据，手写数字、回归数据集没有
         *  target\_names：标签名
 *  sklearn分类数据集
    
     *  sklearn.datasets.load\_iris()
        
         *  加载并返回鸢尾花数据集

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/26f33124c8357d10a250affea4c70ecb.png\#align=left&display=inline&height=71&margin=\[object Object\]&name=image.png&originHeight=142&originWidth=527&size=13935&status=done&style=none&width=263.5)

*  sklearn.datasets.load\_digits()
    
     *  加载并返回数字数据集

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/0b850dae4ac58399f7256327a4645801.png\#align=left&display=inline&height=61&margin=\[object Object\]&name=image.png&originHeight=123&originWidth=538&size=9996&status=done&style=none&width=269)

*  数据集进行分割
    
     *  sklearn.model\_selection.train\_test\_split(*\*arrays*, *\*\*options*)
        
         *  x         数据集的特征值
         *  y       数据集的标签值
         *  test\_size      测试集的大小，一般为float 一般是8:2 或者 7:3
         *  random\_state        随机数种子,不同的种子会造成不同的随机采样结果。相同的种子采样结果相同。
         *  return 训练集特征值，测试集特征值，训练标签，测试标签(默认随机取)
 *  用于分类的大数据集
    
     *  sklearn.datasets.fetch\_20newsgroups(data\_home=None,subset=‘train’)
        
         *  subset: ‘train’或者’test’,‘all’，可选，选择要加载的数据集.训练集的“训练”，测试集的“测  
            试”，两者的“全部”
     *  datasets.clear\_data\_home(data\_home=None)
        
         *  清除目录下的数据
 *  sklearn回归数据集
    
     *  sklearn.datasets.load\_boston()
        
         *  加载并返回波士顿房价数据集

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/ec1be524a9262b8ecb9e5fdcaf963088.png\#align=left&display=inline&height=62&margin=\[object Object\]&name=image.png&originHeight=123&originWidth=582&size=11062&status=done&style=none&width=291)

*  sklearn.datasets.load\_diabetes()
    
     *  加载和返回糖尿病数据集

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/52500725b19b4c73643b5dfa243ca2e6.png\#align=left&display=inline&height=63&margin=\[object Object\]&name=image.png&originHeight=126&originWidth=583&size=11742&status=done&style=none&width=291.5)

### 2.scikit-learn预估器流程 ###

> 想一下之前做的特征工程的步骤？  
> 1、实例化 (实例化的是一个转换器类(Transformer))  
> 2、调用fit\_transform(对于文档建立分类词频矩阵，不能同时调用)

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/e19d0eb30d97c21632491065ac0af947.png\#align=left&display=inline&height=110&margin=\[object Object\]&name=image.png&originHeight=149&originWidth=587&size=17613&status=done&style=none&width=432)

#### 1. sklearn机器学习算法的实现-估计器 ####

*  在sklearn中，估计器(estimator)是一个重要的角色，分类器和回归器都属于estimator，是一类实现了算法的API
 *  1、用于分类的估计器：
    
     *  \*\*sklearn.neighbors  \*\*k-近邻算法
     *  \*\*sklearn.naive\_bayes      \*\*贝叶斯
     *  \*\*sklearn.linear\_model.LogisticRegression     \*\*逻辑回归
     *  \*\*sklearn.tree                  \*\*决策树与随机森林
 *  2、用于回归的估计器：
    
     *  \*\*sklearn.linear\_model.LinearRegression     \*\*线性回归
     *  **sklearn.linear\_model.Ridge**      岭回归

#### 2. 估计器的工作流程 ####

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/229bfc4237ffef1fac81c9334ec3a429.png\#align=left&display=inline&height=339&margin=\[object Object\]&name=image.png&originHeight=367&originWidth=424&size=36409&status=done&style=none&width=392)

#### 3. 分类算法的判定依据？ ####

根据输出的值是否是离散型的

### 3.k-近邻算法 ###

*  定义：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。
 *  来源：KNN算法最早是由Cover和Hart提出的一种分类算法

#### 1. 计算距离公式 ####

1.  两个样本的距离可以通过如下公式计算，又叫欧式距离 比如说，a(a1,a2,a3),b(b1,b2,b3)
2.  !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/2ca4c340e0bd0d6f827a3725af0689a4.png\#align=left&display=inline&height=33&margin=\[object Object\]&name=image.png&originHeight=66&originWidth=544&size=16362&status=done&style=none&width=272)

#### 2. sklearn k-近邻算法API ####

*  sklearn.neighbors.KNeighborsClassifier(n\_neighbors=5,algorithm=‘auto’)
    
     *  n\_neighbors：int,可选（默认= 5），k\_neighbors查询默认使用的邻居数3.
     *  algorithm：\{‘auto’，‘ball\_tree’，‘kd\_tree’，‘brute’\}，可选用于计算最近邻居的算法：‘ball\_tree’将会使用 BallTree，‘kd\_tree’将使用 KDTree。‘auto’将尝试根据传递给fit方法的值来决定最合适的算法。(不同实现方式影响效率)

#### 3. 实例流程 ####

*  数据集的处理
 *  分割数据集
 *  对数据集进行标准化
 *  estimator流程进行分类预测

#### 4. 问题： ####

*  1.k值取多大？有什么影响？
    
     *  k值取很小：容易受噪声影响
     *  k值取很大：容易受数量的影响
     *  k值有可能导致无法得到结果
 *  2、性能问题？

#### 5. k-近邻算法优缺点 ####

*  优点：
    
     *  简单，易于理解，易于实现，无需估计参数，无需训练
 *  缺点：
    
     *  懒惰算法，对测试样本分类时的计算量大，内存开销大
     *  必须指定K值，K值选择不当则分类精度不能保证
 *  使用场景：小数据场景，几千～几万样本，具体场景具体业务去测试

#### 6. k-近邻算法实现 ####

*  加快搜索速度——基于算法的改进KDTree,API接口里面有实现

1.  k近邻算法作业

### 4.分类性指标 ###

分类模型的评估

*  estimator.score()
    
     *  一般最常见使用的是准确率，即预测结果正确的百分比

#### 1. 混淆矩阵 ####

*  在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)  
    !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/14f5f4cdc670b3e0bd732632003c7a98.png\#align=left&display=inline&height=183&margin=\[object Object\]&name=image.png&originHeight=347&originWidth=638&size=45386&status=done&style=none&width=336)

#### 2. 精确率(Precision)与召回率(Recall) ####

*  精确率:预测结果为正例样本中真实为正例的比例（查得准）
 *  召回率:真实为正例的样本中预测结果为正例的比例（查的全，对正样本的区分能力）  
    假设我们手上有60个正样本，40个负样本，我们要找出所有的正样本，系统查找出50个正样本，其中只有40个是真正的正样本，计算上述各指标
 *  
 *  TP: 将正类预测为正类数 40

FN: 将正类预测为负类数 20  
FP: 将负类预测为正类数 10  
TN: 将负类预测为负类数 30

*  **准确率**(accuracy) = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN) = 70%**精确率**(precision) = TP/(TP+FP) = 80%**召回率**(recall) = TP/(TP+FN) = 2/3

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th><strong>预测为猫</strong></th> 
   <th><strong>预测不是猫</strong></th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>真实为猫</td> 
   <td>真正例TP</td> 
   <td>伪反例FN</td> 
  </tr> 
  <tr> 
   <td>真实不为猫</td> 
   <td>伪正例FP</td> 
   <td>真反例TN</td> 
  </tr> 
 </tbody> 
</table>

#### 3. 其他分类标准，F1-score，反映了模型的稳健型 ####

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/6ff12e0355ace9c95ef867226698936e.png\#align=left&display=inline&height=99&margin=\[object Object\]&name=image.png&originHeight=99&originWidth=559&size=20410&status=done&style=none&width=559)

> 为什么会有这么多指标呢？\*\*        这是因为模式分类和机器学习的需要。判断一个分类器对所用样本的分类能力或者在不同的应用场合时，  
> 需要有不同的指标。 当总共有个100 个样本（P+N=100）时，假如只有一个正例（P=1），  
> 那么只考虑精确度的话，不需要进行任何模型的训练，直接将所有测试样本判为正例，  
> 那么A 能达到99%，非常高了，但这并没有反映出模型真正的能力。另外在统计信号分析中，  
> 对不同类的判断结果的错误的惩罚是不一样的。举例而言，雷达收到100个来袭 导弹的信号，  
> 其中只有3个是真正的导弹信号，其余97 个是敌方模拟的导弹信号。假如系统判断98 个  
> （97个模拟信号加一个真正的导弹信号）信号都是模拟信号，那么Accuracy=98%，  
> 很高了，剩下两个是导弹信号，被截掉，这时Recall=2/3=66.67%，  
> Precision=2/2=100%，Precision也很高。但剩下的那颗导弹就会造成灾害。

因此在统计信号分析中，有另外两个指标来衡量分类器错误判断的后果：\*\*漏警概率（Missing Alarm）MA = FN/(TP + FN) = 1 – TP/T = 1 - R；  反映有多少个正例被漏判了

> （我们这里就是真正的导弹信号被判断为模拟信号，可见MA此时为33.33%，太高了）

虚警概率（False Alarm）FA = FP / (TP + FP) = 1 – P；反映被判为正例样本中，有多少个是负例。

> 统计信号分析中，希望上述的两个错误概率尽量小。而对分类器的总的惩罚旧  
> 是上面两种错误分别加上惩罚因子的和：COST = Cma*MA + Cfa* FA。  
> 不同的场合、需要下，对不同的错误的惩罚也不一样的。像这里，我们自然希望对漏警的惩罚大，  
> 因此它的惩罚因子Cma要大些。

#### 4. 分类模型评估API ####

*  sklearn.metrics.classification\_report
 *  sklearn.metrics.classification\_report(*y\_true*, *y\_pred*, *target\_names=None*)
    
     *  y\_true：真实目标值
     *  y\_pred：估计器预测目标值
     *  target\_names：目标类别名称
     *  return：每个类别精确率与召回率

#### 5. 模型的选择与调优 ####

##### 1. 交叉验证 #####

##### 2. 网格搜索 #####

### 5.朴素贝叶斯算法 ###

> 1、概率基础  
> 2、朴素贝叶斯介绍

#### 1. 概率基础 ####

*  定义：概率定义为一件事情发生的可能性
    
     *  扔出一个硬币，结果头像朝上
     *  某天是晴天
 *  联合概率：包含多个条件，且所有条件同时成立的概率  
    \- 记作：P(A,B)  
    \- P(A, B) = P(A)P(B)
 *  条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率
    
     *  记作：P(A|B)
     *  特性：P(A1,A2|B) = P(A1|B)\*P(A2|B)
     *  注意：此条件概率的成立，是由于A1,A2相互独立的结果

#### 2.朴素贝叶斯-贝叶斯公式 ####

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/16fe1ac5cf688381cffae38d01d45266.png\#align=left&display=inline&height=43&margin=\[object Object\]&name=image.png&originHeight=86&originWidth=336&size=16072&status=done&style=none&width=168)

*  注：w为给定文档的特征值(频数统计,预测文档提供)，c为文档类别
 *  *公式可以理解为：*

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/f508aa5fcd9328e878b9e7fd7f27a2c5.png\#align=left&display=inline&height=39&margin=\[object Object\]&name=image.png&originHeight=78&originWidth=508&size=21110&status=done&style=none&width=254)

*  其中c可以是不同类别

公式分为三个部分：

*  P©：每个文档类别的概率(某文档类别数／总文档数量)
 *  P(W│C)：给定类别下特征（被预测文档中出现的词）的概率
    
     *  计算方法：P(F1│C)=Ni/N  （训练文档中去计算）
     *  Ni为该F1词在C类别所有文档中出现的次数
     *  N为所属类别C下的文档所有词出现的次数和
 *  P(F1,F2,…)     预测文档中每个词的概率

#### 3. 拉普拉斯平滑 ####

*  问题：从上面的例子我们得到娱乐概率为0，这是不合理的，如果词频列表里面有很多出现次数都为0，很可能计算结果都为零
 *  解决方法：拉普拉斯平滑系数
    
     *  P(F1│C)=(Ni+α)/(N+αm)
     *  α为指定的系数一般为1，m为训练文档中统计出的特征词个数

#### 4. sklearn朴素贝叶斯实现API ####

*  sklearn.naive\_bayes.MultinomialNB
    
     *  sklearn.naive\_bayes.MultinomialNB(alpha = 1.0)
        
         *  朴素贝叶斯分类
         *  alpha：拉普拉斯平滑系数

#### 5. 朴素贝叶斯算法案例 ####

##### 6.朴素贝叶斯分类优缺点 #####

*  优点：
    
     *  朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
     *  对缺失数据不太敏感，算法也比较简单，常用于文本分类。
     *  分类准确度高，速度快
 *  缺点：
    
     *  由于使用了样本属性独立性的假设，所以如果样本属性有关联时其效果不好

### 6.交叉验证与网格搜索 ###

#### 1. 交叉验证 ####

*  交叉验证：为了让被评估的模型更加准确可信
 *  交叉验证过程:

交叉验证：将拿到的训练数据，分为训练和验证集。以下图为例：将数据分成5份，其中一份作为验证集。然后经过5次(组)的测试，每次都更换不同的验证集。即得到5组模型的结果，取平均值作为最终结果。又称5折交叉验证。  
!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/773c73711b16d1ca7ea0c146d4089cf6.png\#align=left&display=inline&height=235&margin=\[object Object\]&name=image.png&originHeight=235&originWidth=728&size=22239&status=done&style=none&width=728)

#### 2. 超参数搜索-网格搜索 ####

*  通常情况下，有很多参数是需要手动指定的（如k-近邻算法中的K值），这种叫超参数。但是手动过程繁杂，所以需要对模型预设几种超参数组合。每组超参数都采用交叉验证来进行评估。最后选出最优参数组合建立模型。  
    | **K值** | **K=3** | **K=5** | **K=7** |  
    | — | — | — | — |  
    | 模型 | 模型1 | 模型2 | 模型3 |
 *  超参数搜索-网格搜索API
    
     *  sklearn.model\_selection.GridSearchCV
     *  sklearn.model\_selection.GridSearchCV(estimator, param\_grid=None,cv=None)
        
         *  对估计器的指定参数值进行详尽搜索
         *  estimator：估计器对象
         *  param\_grid：估计器参数(dict)\{“n\_neighbors”:\[1,3,5\]\}
         *  cv：指定几折交叉验证
         *  fit：输入训练数据
         *  score：准确率
         *  结果分析：
         *  best\_score\_:在交叉验证中验证的最好结果
         *  best\_estimator\_：最好的参数模型
         *  cv\_results\_:每次交叉验证后的测试集准确率结果和训练集准确率结果
 *  K-近邻网格搜索案例
    
     *  将前面的k-近邻算法案例改成网格搜索

### 7.决策树 ###

#### 1. 决策树 ####

>  *  认识决策树
>  *  信息论基础-银行贷款分析
>  *  决策树的生成
>  *  泰坦尼克号乘客生存分类

*  认识决策树
    
    1.  决策树思想的来源非常朴素，程序设计中的条件分支结构就是if-then结构，最早的决策树就是利用这类结构分割数据的一种分类学习方法

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/604e0eaefaaa85f1bfa7548bbb8f9570.png\#align=left&display=inline&height=292&margin=\[object Object\]&name=image.png&originHeight=292&originWidth=536&size=56943&status=done&style=none&width=536)

*  决策树的实际划分  
    !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/837f136dbaac7325ebff073c8c6f2e13.png\#align=left&display=inline&height=506&margin=\[object Object\]&name=image.png&originHeight=506&originWidth=498&size=68534&status=done&style=none&width=498)
 *  信息的度量和作用

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/25cb763129a4882b3e9996b14cc6494d.png\#align=left&display=inline&height=420&margin=\[object Object\]&name=image.png&originHeight=420&originWidth=720&size=97262&status=done&style=none&width=720)

#### 2. 信息熵 ####

*  “谁是世界杯冠军”的信息量应该比5比特。香农指出，它的准确信息量应该是：
    
     *  H = -(p1logp1 + p2logp2 + … + p32log32)
     *  \-1/32 \* log1/32  + 1/32 \* log1/32 +… = 5比特
     *  已知德国夺冠军的概率是 1/5 à 信息熵 3个比特,
     *  已经德国夺冠的概率相对应的信息增益 2个比特
 *  H的专业术语称之为信息熵，单位为比特。
 *  公式:
    
     *  !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/84dfc625cd14256312a922992aec5f04.png\#align=left&display=inline&height=64&margin=\[object Object\]&name=image.png&originHeight=64&originWidth=349&size=6450&status=done&style=none&width=349)
 *  当这32支球队夺冠的几率相同时，对应的信息熵等于5比特

> 信息和消除不确定性是相联系的

#### 3. 信息增益 ####

*  决策树的划分依据之一-信息增益
 *  特征A对训练数据集D的信息增益g(D,A),定义为集合D的信息熵H(D)与特征A给定条件下D的信息条件熵H(D|A)之差，即公式为：  
                            !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/87e74e94fad9aa4fcf1c2ea5291f78f5.png\#align=left&display=inline&height=78&margin=\[object Object\]&name=image.png&originHeight=78&originWidth=408&size=8500&status=done&style=none&width=408)
 *  **注：信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度**
 *  信息增益的计算：
    
     *  结合前面的贷款数据来看我们的公式：
     *  信息熵的计算：  
                                !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/1295e2365e06648d1a5a63cce77c3078.png\#align=left&display=inline&height=140&margin=\[object Object\]&name=image.png&originHeight=140&originWidth=487&size=18325&status=done&style=none&width=487)
     *  条件熵的计算：  
        !\[image.png\](https://img-blog.csdnimg.cn/img\_convert/ebfd9b9ed6350dbd48dbbe180210737c.png\#align=left&display=inline&height=110&margin=\[object Object\]&name=image.png&originHeight=110&originWidth=720&size=29461&status=done&style=none&width=720)
        
         *  注：Ck 表示属于某个类别的样本数

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/b1c3b8eb26859fc89e014431c9506184.png\#align=left&display=inline&height=375&margin=\[object Object\]&name=image.png&originHeight=467&originWidth=829&size=133723&status=done&style=none&width=665)

*  常见决策树使用的算法:
    
     *  ID3
        
         *  信息增益 最大的准则
     *  C4.5
        
         *  信息增益比 最大的准则
     *  CART
     *  回归树: 平方误差 最小
     *  分类树: 基尼系数  最小的准则 在sklearn中可以选择划分的原则

!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/030926277ad717f06ef9cf45b2f79f47.png\#align=left&display=inline&height=157&margin=\[object Object\]&name=image.png&originHeight=157&originWidth=674&size=78003&status=done&style=none&width=674)

> https://www.cnblogs.com/pinard/p/6053344.html

#### 4. sklearn决策树API ####

*  \_class \_sklearn.tree.DecisionTreeClassifier(*criterion=’gini’*, *max\_depth=None,random\_state=None*)
    
     *  决策树分类器
     *  criterion:默认是’gini’系数，也可以选择信息增益的熵’entropy’
     *  max\_depth:树的深度大小
     *  random\_state:随机数种子
     *  method:
     *  decision\_path:返回决策树的路径

案例：  
泰坦尼克号数据  
在泰坦尼克号和titanic2数据帧描述泰坦尼克号上的个别乘客的生存状态。在泰坦尼克号的数据帧不包含从剧组信息，但它确实包含了乘客的一半的实际年龄。关于泰坦尼克号旅客的数据的主要来源是百科全书Titanica。这里使用的数据集是由各种研究人员开始的。其中包括许多研究人员创建的旅客名单，由Michael A. Findlay编辑。  
我们提取的数据集中的特征是票的类别，存活，乘坐班，年龄，登陆，home.dest，房间，票，船和性别。乘坐班是指乘客班（1，2，3），是社会经济阶层的代表。  
其中age数据存在缺失。  
!\[image.png\](https://img-blog.csdnimg.cn/img\_convert/34b71eb618094b27d3068a450e030e5d.png\#align=left&display=inline&height=226&margin=\[object Object\]&name=image.png&originHeight=226&originWidth=897&size=211599&status=done&style=none&width=897)

> 数据：http://biostat.mc.vanderbilt.edu/wiki/pub/Main/DataSets/titanic.txt

#### 5. 泰坦尼克号乘客生存分类模型 ####

> 1、pd读取数据  
> 2、选择有影响的特征，处理缺失值  
> 3、进行特征工程，pd转换字典，特征抽取  
> x\_train.to\_dict(orient=“records”)  
> 4、决策树估计器流程

#### 6. 决策树的结构、本地保存 ####

*  sklearn.tree.export\_graphviz() 该函数能够导出DOT格式
    
     *  tree.export\_graphviz(estimator,out\_file='tree.dot’,feature\_names=\[‘’,’’\])
 *  工具:(能够将dot文件转换为pdf、png)

安装graphviz  
ubuntu:sudo apt-get install graphviz                    Mac:brewinstall graphviz

*  运行命令

然后我们运行这个命令  
$ dot -Tpng tree.dot -o tree.png

#### 7. 决策树的优缺点以及改进 ####

*  优点：
    
     *  简单的理解和解释，树木可视化。
     *  需要很少的数据准备，其他技术通常需要数据归一化
 *  缺点：
    
     *  决策树学习者可以创建不能很好地推广数据的过于复杂的树， 这被称为过拟合。
 *  改进：
    
     *  减枝cart算法
     *  随机森林

> 注：企业重要决策，由于决策树很好的分析能力，在决策过程应用较多。

### 8. 随机森林 ###

*  集成学习方法-随机森林

> 1、什么是随机森林  
> 2、随机森林的过程、优势  
> 4、泰坦尼克号乘客生存分类分析

#### 1. 集成学习方法 ####

*  集成学习通过建立几个模型组合的来解决单一预测问题。它的工作原理是生成多个分类器/模型，各自独立地学习和作出预测。这些预测最后结合成单预测，因此优于任何一个单分类的做出预测。

#### 2. 什么是随机森林: ####

*  定义：在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别树输出的类别的众数而定。
 *  学习算法
    
     *  根据下列算法而建造每棵树：
     *  用N来表示训练用例（样本）的个数，M表示特征数目。
     *  一次随机选出一个样本，重复N次， （有可能出现重复的样本）
     *  随机去选出m个特征, m <<M，建立决策树
     *  
     *  采取bootstrap抽样
 *  **为什么要随机抽样训练集？**
    
     *  如果不进行随机抽样，每棵树的训练集都一样，那么最终训练出的树分类结果也是完全一样的
 *  为什么要有放回地抽样？
    
     *  如果不是有放回的抽样，那么每棵树的训练样本都是不同的，都是没有交集的，这样每棵树都是“有偏的”，都是绝对“片面的”（当然这样说可能不对），也就是说每棵树训练出来都是有很大的差异的；而随机森林最后分类取决于多棵树（弱分类器）的投票表决。

#### 3. 集成学习API ####

*  class sklearn.ensemble.RandomForestClassifier(n\_estimators=10, criterion=’gini’,max\_depth=None, bootstrap=True, random\_state=None)
    
     *  随机森林分类器
     *  n\_estimators：integer，optional（default = 10） 森林里的树木数量
     *  criteria：string，可选（default =“gini”）分割特征的测量方法
     *  max\_depth：integer或None，可选（默认=无）树的最大深度
     *  bootstrap：boolean，optional（default = True）是否在构建树时使用放回抽样

#### 4. 随机森林的优点 ####

*  在当前所有算法中，具有极好的准确率
 *  能够有效地运行在大数据集上
 *  能够处理具有高维特征的输入样本，而且不需要降维
 *  能够评估各个特征在分类问题上的重要性

[2942dffce4d30d833b581162b63dd6bb.png]: /images/20221120/7e1106e6f30f4c288e25c6fbc468d9cc.png