【建议收藏】图解十大经典机器学习算法——带你入门机器学习

左手的ㄟ右手 2022-08-30 04:08 15阅读 0赞

**目录**

机器学习

机器学习的步骤

01 线性回归

02 逻辑回归

03 线性判别分析

04 分类和回归树

05 朴素贝叶斯

06 K近邻

07 学习矢量量化

08 支持向量机

09 bagging和随机森林

10 Boosting和AdaBoost

每文一语

--------------------

### 机器学习 ###

机器学习是一门多领域交叉学科，涉及概率论、统计学、[逼近论][Link 1]、[凸分析][Link 2]、[算法复杂度][Link 3]理论等多门学科。专门研究计算机怎样模拟或实现人类的[学习行为][Link 4]，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的基础，更是我们现在社会进步的源泉。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70][]

随着社会的进步和发展，我们在科技领域不断的创新，当人类的第一台计算机诞生之后，技术的迭代就已经被装上了风火轮了。我们希望计算机可以帮助我们计算我们人类无法涉及到的领域，但是野心永远是人类进化的动力，我们还希望我们的机器可以帮助我们解决我们的工作，那么机器学习就应运而生了。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 1][]

**人工智能是追求目标，机器学习是实现手段，深度学习是其中一种方法**

### 机器学习的步骤 ###

作为一个初学者，机器学习需要掌握怎样的技术呢？首先必须要有一门熟练的编程语言

Python，Java，R语言.....其实Python主要在一些大数据集模型背后占有强大的优势，而R语言在科研统计比较的吃香，因为R语言拥有很多个第三方程序包，利用少量简洁的代码就可以解决我们的科研工作。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 2][]

1. 选择一个合适的模型，这通常需要依据实际问题而定，针对不同的问题和任务需要选取恰当的模型，模型就是一组函数的集合。  
2、判断一个函数的好坏，这需要确定一个衡量标准，也就是我们通常说的损失函数（Loss Function），损失函数的确定也需要依据具体问题而定，如回归问题一般采用欧式距离，分类问题一般采用交叉熵代价函数。  
3、找出“最好”的函数，如何从众多函数中最快的找出“最好”的那一个，这一步是最大的难点，做到又快又准往往不是一件容易的事情。常用的方法有梯度下降算法，最小二乘法等和其他一些技巧（tricks）。  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 3][]

**这就是为什么我们说机器学习，底层基础是数学理论，其他的应该在编程上面下功夫**

差不多认识了我们机器学习，接下来我们就开始从机器学习最常见的10大算法入门，介绍它们的概念知识，最后我们将开启机器学习的大门，详细记录我们学习过程中的点点滴滴！

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 4][]

在机器学习领域，有种说法叫做“世上没有免费的午餐”，简而言之，它是指没有任何一种算法能在每个问题上都能有最好的效果，这个理论在监督学习方面体现得尤为重要。

举个例子来说，你不能说神经网络永远比决策树好，反之亦然。模型运行被许多因素左右，例如数据集的大小和结构。

因此，你应该根据你的问题尝试许多不同的算法，同时使用数据测试集来评估性能并选出最优项。

当然，你尝试的算法必须和你的问题相切合，其中的门道便是机器学习的主要任务。打个比方，如果你想打扫房子，你可能会用到吸尘器、扫帚或者拖把，但你肯定不会拿把铲子开始挖坑吧。这个道理很多人都懂，哈哈哈。

### **01 线性回归** ###

线性回归可能是统计学和机器学习中最知名和最易理解的算法之一。

由于预测建模主要关注最小化模型的误差，或者以可解释性为代价来做出最准确的预测。 我们会从许多不同领域借用、重用和盗用算法，其中涉及一些统计学知识。

线性回归用一个等式表示，通过找到输入变量的特定权重（B），来描述输入变量（x）与输出变量（y）之间的线性关系。

![图片][0a247424ffceb5da43d8aafa5e9f20de.png]

Linear Regression

**举例：y = B0 + B1 \* x**

给定输入x，我们将预测y，线性回归学习算法的目标是找到系数B0和B1的值。

可以使用不同的技术从数据中学习线性回归模型，例如用于普通最小二乘和梯度下降优化的线性代数解。

线性回归已经存在了200多年，并且已经进行了广泛的研究。 如果可能的话，使用这种技术时的一些经验法则是去除非常相似（相关）的变量并从数据中移除噪声。 这是一种快速简单的技术和良好的第一种算法。

### **02 逻辑回归** ###

逻辑回归是机器学习从统计领域借鉴的另一种技术。 这是二分类问题的专用方法（两个类值的问题）。

逻辑回归与线性回归类似，这是因为两者的目标都是找出每个输入变量的权重值。 与线性回归不同的是，输出的预测值得使用称为逻辑函数的非线性函数进行变换。

逻辑函数看起来像一个大S，并能将任何值转换为0到1的范围内。这很有用，因为我们可以将相应规则应用于逻辑函数的输出上，把值分类为0和1（例如，如果IF小于0.5，那么 输出1）并预测类别值。

![图片][c578a68dfa4c09a0da500619e9d13f52.png]

Logistic Regression

由于模型的特有学习方式，通过逻辑回归所做的预测也可以用于计算属于类0或类1的概率。这对于需要给出许多基本原理的问题十分有用。

与线性回归一样，当你移除与输出变量无关的属性以及彼此非常相似（相关）的属性时，逻辑回归确实会更好。 这是一个快速学习和有效处理二元分类问题的模型。

### **03 线性判别分析** ###

传统的逻辑回归仅限于二分类问题。 如果你有两个以上的类，那么线性判别分析算法（Linear Discriminant Analysis，简称LDA）是首选的线性分类技术。

LDA的表示非常简单。 它由你的数据的统计属性组成，根据每个类别进行计算。 对于单个输入变量，这包括：

*  **每类的平均值。**
 *  **跨所有类别计算的方差。**

![图片][b9cc7b6702d96adaa0bb532546538c9e.png]

Linear Discriminant Analysis

LDA通过计算每个类的判别值并对具有最大值的类进行预测来进行。该技术假定数据具有高斯分布（钟形曲线），因此最好先手动从数据中移除异常值。这是分类预测建模问题中的一种简单而强大的方法。

### **04 分类和回归树** ###

决策树是机器学习的一种重要算法。

决策树模型可用二叉树表示。对，就是来自算法和数据结构的二叉树，没什么特别。 每个节点代表单个输入变量（x）和该变量上的左右孩子（假定变量是数字）。

![图片][0c21c2d683d5d755ce0b06bb308428eb.png]

Decision Tree

树的叶节点包含用于进行预测的输出变量（y）。 预测是通过遍历树进行的，当达到某一叶节点时停止，并输出该叶节点的类值。

决策树学习速度快，预测速度快。 对于许多问题也经常预测准确，并且你不需要为数据做任何特殊准备。

### **05 朴素贝叶斯** ###

朴素贝叶斯是一种简单但极为强大的预测建模算法。

该模型由两种类型的概率组成，可以直接从你的训练数据中计算出来：1）每个类别的概率; 2）给定的每个x值的类别的条件概率。 一旦计算出来，概率模型就可以用于使用贝叶斯定理对新数据进行预测。 当你的数据是数值时，通常假设高斯分布（钟形曲线），以便可以轻松估计这些概率。

![图片][4e6213f9de6668e369bbcff173d7f717.png]

Bayes Theorem

朴素贝叶斯被称为朴素的原因，在于它假设每个输入变量是独立的。 这是一个强硬的假设，对于真实数据来说是不切实际的，但该技术对于大范围内的复杂问题仍非常有效。

### **06 K近邻** ###

KNN算法非常简单而且非常有效。KNN的模型用整个训练数据集表示。 是不是特简单？

通过搜索整个训练集内K个最相似的实例（邻居），并对这些K个实例的输出变量进行汇总，来预测新的数据点。 对于回归问题，新的点可能是平均输出变量，对于分类问题，新的点可能是众数类别值。

成功的诀窍在于如何确定数据实例之间的相似性。如果你的属性都是相同的比例，最简单的方法就是使用欧几里德距离，它可以根据每个输入变量之间的差直接计算。

![图片][91143cbbdbc07747d6ae22e6cc5d3db6.png]

K-Nearest Neighbors

KNN可能需要大量的内存或空间来存储所有的数据，但只有在需要预测时才会执行计算（或学习）。 你还可以随时更新和管理你的训练集，以保持预测的准确性。

距离或紧密度的概念可能会在高维环境（大量输入变量）下崩溃，这会对算法造成负面影响。这类事件被称为维度诅咒。它也暗示了你应该只使用那些与预测输出变量最相关的输入变量。

### **07 学习矢量量化** ###

K-近邻的缺点是你需要维持整个训练数据集。 学习矢量量化算法（或简称LVQ）是一种人工神经网络算法，允许你挂起任意个训练实例并准确学习他们。

![图片][a3ea9361038c627241df9ae4ef62b6ce.png]

Learning Vector Quantization

LVQ用codebook向量的集合表示。开始时随机选择向量，然后多次迭代，适应训练数据集。 在学习之后，codebook向量可以像K-近邻那样用来预测。 通过计算每个codebook向量与新数据实例之间的距离来找到最相似的邻居（最佳匹配），然后返回最佳匹配单元的类别值或在回归情况下的实际值作为预测。 如果你把数据限制在相同范围（如0到1之间），则可以获得最佳结果。

如果你发现KNN在您的数据集上给出了很好的结果，请尝试使用LVQ来减少存储整个训练数据集的内存要求。

### **08 支持向量机** ###

支持向量机也许是最受欢迎和讨论的机器学习算法之一。

超平面是分割输入变量空间的线。 在SVM中，会选出一个超平面以将输入变量空间中的点按其类别（0类或1类）进行分离。在二维空间中可以将其视为一条线，所有的输入点都可以被这条线完全分开。SVM学习算法就是要找到能让超平面对类别有最佳分离的系数。

![图片][bd4153d2c83efb88ac004ae584011954.png]

Support Vector Machine

超平面和最近的数据点之间的距离被称为边界，有最大边界的超平面是最佳之选。同时，只有这些离得近的数据点才和超平面的定义和分类器的构造有关，这些点被称为支持向量，他们支持或定义超平面。在具体实践中，我们会用到优化算法来找到能最大化边界的系数值。

SVM可能是最强大的即用分类器之一，在你的数据集上值得一试。

### **09 bagging和随机森林** ###

随机森林是最流行和最强大的机器学习算法之一。 它是一种被称为Bootstrap Aggregation或Bagging的集成机器学习算法。

bootstrap是一种强大的统计方法，用于从数据样本中估计某一数量，例如平均值。 它会抽取大量样本数据，计算平均值，然后平均所有平均值，以便更准确地估算真实平均值。

在bagging中用到了相同的方法，但最常用到的是决策树，而不是估计整个统计模型。它会训练数据进行多重抽样，然后为每个数据样本构建模型。当你需要对新数据进行预测时，每个模型都会进行预测，并对预测结果进行平均，以更好地估计真实的输出值。

![图片][67166e78b484fd314f8f5cf730326d36.png]

Random Forest

随机森林是对决策树的一种调整，相对于选择最佳分割点，随机森林通过引入随机性来实现次优分割。

因此，为每个数据样本创建的模型之间的差异性会更大，但就自身意义来说依然准确无误。结合预测结果可以更好地估计正确的潜在输出值。

如果你使用高方差算法（如决策树）获得良好结果，那么加上这个算法后效果会更好。

### **10 Boosting和AdaBoost** ###

**Boosting是一种从一些弱分类器中创建一个强分类器的集成技术。** 它先由训练数据构建一个模型，然后创建第二个模型来尝试纠正第一个模型的错误。 不断添加模型，直到训练集完美预测或已经添加到数量上限。

**AdaBoost是为二分类开发的第一个真正成功的Boosting算法，同时也是理解Boosting的最佳起点。** 目前基于AdaBoost而构建的算法中最著名的就是随机梯度boosting。

![图片][816bf36c6d6159edceda6063e1f558bf.png]

AdaBoost

AdaBoost常与短决策树一起使用。 在创建第一棵树之后，每个训练实例在树上的性能都决定了下一棵树需要在这个训练实例上投入多少关注。难以预测的训练数据会被赋予更多的权重，而易于预测的实例被赋予更少的权重。 模型按顺序依次创建，每个模型的更新都会影响序列中下一棵树的学习效果。在建完所有树之后，算法对新数据进行预测，并且通过训练数据的准确程度来加权每棵树的性能。

*  **数据的大小，质量和性质;** 
 *  **可用的计算时间;** 
 *  **任务的紧迫性;** 
 *  **你想要对数据做什么。**

**是我们选择那种机器学习算法的关键**

**scikit-learn作为一个丰富的python机器学习库，实现了绝大多数机器学习的算法，有相当多的人在使用，于是我这里很无耻地把machine learning cheat sheet for sklearn搬过来了，原文可以看这里。哈哈，既然讲机器学习，我们就用机器学习的语言来解释一下，这是针对实际应用场景的各种条件限制，对scikit-learn里完成的算法构建的一颗决策树，每一组条件都是对应一条路径，能找到相对较为合适的一些解决方法，具体如下：**  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 5][]![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 6][]

### 每文一语 ###

> 既然选择，就像当时一样，不问未来

[Link 1]: https://baike.baidu.com/item/%E9%80%BC%E8%BF%91%E8%AE%BA/967006
[Link 2]: https://baike.baidu.com/item/%E5%87%B8%E5%88%86%E6%9E%90
[Link 3]: https://baike.baidu.com/item/%E7%AE%97%E6%B3%95%E5%A4%8D%E6%9D%82%E5%BA%A6
[Link 4]: https://baike.baidu.com/item/%E5%AD%A6%E4%B9%A0%E8%A1%8C%E4%B8%BA/5482132
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70]: /images/20220829/7bf7d2a6aad644328beca40f221c5449.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 1]: /images/20220829/1c237e758e1d4c15930530484dd5055d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 2]: /images/20220829/2929f0e344344be2907625e594e4206e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 3]: /images/20220829/c0caf08441664cab88010c6b45f5ba69.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 4]: /images/20220829/aeebd4958e38432c8e379d0fc47bb153.png
[0a247424ffceb5da43d8aafa5e9f20de.png]: /images/20220829/e250e897f483416a9978c3230381e20b.png
[c578a68dfa4c09a0da500619e9d13f52.png]: /images/20220829/4c1c55f2ae3045919b835ac73fcd3d66.png
[b9cc7b6702d96adaa0bb532546538c9e.png]: /images/20220829/bf19515d320e4e7f9cce187989bffd39.png
[0c21c2d683d5d755ce0b06bb308428eb.png]: /images/20220829/920fe2498da24064ad4af5b9aa5a52e1.png
[4e6213f9de6668e369bbcff173d7f717.png]: /images/20220829/e9fb5773f8de4996808043d08af59b19.png
[91143cbbdbc07747d6ae22e6cc5d3db6.png]: /images/20220829/24af7124e8f1473391669a7d1c644831.png
[a3ea9361038c627241df9ae4ef62b6ce.png]: /images/20220829/f6d8a8ba1b164e649276f981e0f24fef.png
[bd4153d2c83efb88ac004ae584011954.png]: /images/20220829/a7f07960498a446795140a900a94a519.png
[67166e78b484fd314f8f5cf730326d36.png]: /images/20220829/fdd2c9e3215d4b49ba851a7a541db8a1.png
[816bf36c6d6159edceda6063e1f558bf.png]: /images/20220829/bd163b65e84c440dbe2d1d855fd195e7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 5]: https://img-blog.csdnimg.cn/202107181927400.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg==,size_16,color_FFFFFF,t_70
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80NzcyMzczMg_size_16_color_FFFFFF_t_70 6]: /images/20220829/6aed46d313b74a61b697e855094397fc.png