机器学习知识点整理

r囧r小猫 2021-09-24 01:18 485阅读 0赞

### 机器学习知识点整理 ###

*  简介
 *  术语
 *  模型
 *  常见问题

# 简介 #

主要是机器学习相关知识点

# 术语 #

*  **超参数**  
    在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数，而不是通过训练得到的参数数据。通常情况下，需要对超参数进行优化，给学习机选择一组最优超参数，以提高学习的性能和效果。
 *  **相关性分析与回归分析**  
    1、相关性分析相当于先检验一下众多的**自变量**和**因变量**之间是否存在相关性，当然通过相关分析求得相关系数没有回归分析的准确。
    
    如果相关分析时各自变量跟因变量之间没有相关性 ，就没有必要再做回归分析；如果有一定的相关性了，然后再通过回归分析进一步验证他们之间的准确关系。
    
    同时 相关分析还有一个目的，可以查看一下 自变量之间的**共线性程度**如何，如果自变量间的相关性非常大，可能表示存在共线性。
    
    2、相关分析只是了解变量间的**共变趋势**，我们只能通过相关分析确定变量间的关联，这种关联是没有方向性的，可能是A影响B，也可能是B影响A，还有可能是A与B互相影响，相关分析没法确定变量间的关联究竟是哪一种。
    
    而这就是我们需要使用回归分析解决的问题，我们通过回归分析对自变量与因变量进行假设，然后可以验证变量间的具体作用关系，这时的变量关系就是有具体方向性的了。
    
    所以相关分析通常也会被作为一种描述性的分析，而回归分析得到的结果更为重要和精确。
 *  [共线性][Link 1]
 *  **偏差、方差**
    
    **偏差**度量了学习算法期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力；
    
    **方差**度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响；
 *  **梯度爆炸和梯度消失**  
    [博客链接][Link 2]
    
    出现原因：梯度消失和梯度爆炸是因为在**神经网络中**，由于网络层数增多，导致求取的梯度趋于  ∞ \\infty ∞（梯度爆炸）和趋于 0（梯度消失）的情况。[参考链接][Link 3]
    
    解决梯度消失和梯度爆炸的方法：
    
    1.  梯度剪切：防止梯度爆炸，即当梯度超过一定阈值则将梯度限制在这个阈值范围内
    2.  正则化项：  
         L o s s = ( y − W T x ) 2 + α ∣ ∣ w ∣ ∣ 2 Loss=(y-W^Tx)^2+\\alpha||w||^2 Loss=(y−WTx)2\+α∣∣w∣∣2  
        其中， α \\alpha α是正则项系数，作用是防止w过大或者过小
    3.  激活函数改用ReLU
    4.  残差神经网络（跨层连接）
    5.  LSTM：每一层的单元都可以选择遗忘和记忆的状态

--------------------

# 模型 #

*  [堆栈泛化][Link 4]
 *  [前进优化方法][Link 5]  
    其实就是不断在历史数据上进行回测确定模型的最佳参数
 *  **聚类**  
    层次聚类：初始把每个数据点当成一个类，然后选择距离最短的两个点合成一个类，直到合成所需要的N个类为止。  
    K-means聚类：初始化k个中心，不断改变k个中心位置，直到收敛
 *  [Bagging][] (Boostrap Aggregating)  
    Bagging 能够减少泛化误差（具有较小的方差）  
    给定一个大小为  n n n 的训练集  D D D  
    Bagging 算法从中均匀、有放回地（即使用自助抽样法boostrap）选出  m m m 个大小为  n ′ n' n′ 的子集  D i D\_i Di，作为新的训练集。  
    在这  m m m 个训练集上使用分类、回归等算法进行拟合，则可得到  m m m 个模型。  
    用这  m m m 个模型对新数据进行预测，再通过取平均值、取多数票等方法，即可得到Bagging的结果。
 *  [Boosting1][]、[Boosting2][]  
    每轮训练采用全部的样本，每轮训练改变样本的权重，改变样本的权重的用处体现在权重大的样本对损失函数的影响较大。  
    每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重。  
    各个训练器只能顺序生成，因为后一个模型参数需要前一轮模型的结果。  
    最终得到了数个分类器，这些分类器赋予权重后组合在一起，成为了一个强学习器，可减小偏差。
 *  [随机森林][Link 6]  
    适合于高维特征，基于Bagging，具有小方差，良好的泛化能力。  
    基于Bagging来选择样本，每个样本根据<n个特征，生成多颗决策树，最后投票决定结果。
 *  [极限树（极端随机数）][Link 7]
 *  [LightGBM][]  
    [官方文档][Link 8]  
    LightGBM是对传统的Boosting算法的改进  
    主要优点是适合大样本和高维度的训练场景。  
    LightGBM能够减少训练的时间。  
    主要运用了如下两种解决方法：
    
     *  GOSS（Gradient-Based One-Side Sampling，基于梯度的单边采样）：不是使用所有的样本点来计算梯度，而是对样本进行采样来计算梯度
     *  EFB（Exclusive Feature Bundling，互斥特征捆绑）：不是使用所有特征来进行扫描获得最佳的切分点，而是将某些特征进行捆绑在一起来降低特征的维度，使寻找最佳切分点的消耗减少。
 *  **卷积神经网络（CNN）**  
    [卷积神经网络的简介][Link 9]
    
    卷积层（Convolution）：使用卷积核提取特征，每一个卷积核会输出一个矩阵，每一个卷积核可以提取一个特征
    
    池化层（Pooling）：对卷积层输出的矩阵进行压缩
    
    卷积层和池化层相当于特征工程（提取特征）
    
    全连接层：对前述提取的特征进行加权，综合特征，通常用作输出分类结果
 *  **拉格朗日乘子法**  
    目的：求极值  
    拉格朗日函数- 用 L L L表示的函数  
    拉格朗日乘子-  λ \\lambda λ  
    [拉格朗日乘子法][Link 10]
 *  **正则化**  
    对损失函数引入，正则项  
    L1范数 （Lasso回归）- 减少特征  
    L2范数（Ridge回归）- 防止过拟合

> L1范数：也称叫“稀疏规则算子”（Lasso Regularization）。为什么能稀疏呢？关键原因在于它能实现特征的自动选择。一般来说，训练集中的某些特征和输出 yi 之间并没有多大关系。在训练时引入这些特征，当然能获得更小的训练误差，但其泛化能力比较差，即造成过拟合！L1范数的引入就是为了实现特征自动选择，它会将没有信息的特征对应的权重置为0。

> L2范数：在回归里面中又称岭回归”（Ridge Regression），也有的叫法为“权值衰减”(Weight Decay)。同样是为了解决过拟合问题，但与 L1 范数不同的是L2是使得特征对应的权重尽量的小，接近于0(但不会等于0)。而越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象。为什么呢?这里给出一个说法:参数越小，表示模型不会过分地学习训练集的某个特征，也即更不容易造成过拟合。

# 常见问题 #

*  **防止过拟合的方法**
    
    [如何防止过拟合参考文章][Link 11]
    
    为什么会出现过拟合？ 因为数据有抽样误差，模型在学习过程中出现过拟合表示会受离群的点的影响
    
    1.  获取更多数据，越多的数据可以让模型自己学习
    2.  限制模型复杂度，防止模型变得复杂（比如，对于神经网络可以限制每层神经元的个数）
    3.  训练时间的设置，当模型训练到一定程度的时候（一定的迭代epoch次数），结束学习
    4.  对损失函数进行正则化（其实也是防止模型中的权重过于复杂）
    5.  Bagging：使用不同模型训练不同段的训练数据，最后投票选择输出
    6.  Boosting：使用不同的模型训练数据，最后加权输出
    7.  Dropout
    8.  贝叶斯方法（不太懂）
    9.  给数据加噪声（不太懂）
    10. 集成学习等
 *  **其他聚类的方法**

[Link 1]: https://zhuanlan.zhihu.com/p/88025370
[Link 2]: https://blog.csdn.net/crabstew/article/details/102802385
[Link 3]: https://blog.csdn.net/qq_25737169/article/details/78847691
[Link 4]: https://zhuanlan.zhihu.com/p/110899269?utm_source=wechat_session&utm_medium=social&utm_oi=542286430647410688
[Link 5]: https://www.cnblogs.com/shangfr/p/5001304.html
[Bagging]: https://baike.baidu.com/item/bagging/15454674?fr=aladdin
[Boosting1]: https://blog.csdn.net/Wzz_Liu/article/details/90265893
[Boosting2]: https://zhuanlan.zhihu.com/p/26215100
[Link 6]: https://blog.csdn.net/qq_34106574/article/details/82016442
[Link 7]: https://blog.csdn.net/lc574260570/article/details/81813889
[LightGBM]: https://blog.csdn.net/qq_24519677/article/details/82811215
[Link 8]: https://lightgbm.readthedocs.io/en/latest/Python-Intro.html
[Link 9]: https://zhuanlan.zhihu.com/p/23185164?refer=xiaoleimlnote
[Link 10]: https://www.zhihu.com/question/64044033
[Link 11]: https://www.zhihu.com/question/59201590