你是否知道为什么机器学习算法适用于新的数据？

深藏阁楼爱情的钟 2022-09-12 14:43 115阅读 0赞

### 文章目录 ###

*  内容介绍
 *  机器学习算法有什么作用？
 *  泛化很难，但很强大
 *  我们更喜欢更简单的模型
 *  机器学习并不适用于所有问题

# 内容介绍 #

机器学习的超能力是泛化，机器学习的超能力。

我最近收到一个问题：

> 机器学习模型如何对它以前从未见过的数据做出准确的预测？

答案是泛化，这是我们在将机器学习应用于具有挑战性的问题时所寻求的能力。

*  机器学习算法都试图学习从输入到输出的映射。
 *  更简单的熟练机器学习模型更容易理解和更健壮。
 *  机器学习只适用于需要泛化的问题。  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]

# 机器学习算法有什么作用？ #

当我们拟合机器学习算法时，我们需要一个训练数据集。

该训练数据集包括一组输入模式和相应的输出模式。机器学习算法的目标是学习从输入模式到输出模式的映射的合理近似。

以下是一些具体的例子：

*  从电子邮件映射到它们是否是垃圾邮件以进行垃圾邮件分类。
 *  从房屋详细信息到房屋销售价格的映射以进行房屋销售价格回归。
 *  从照片到文本的映射以描述照片标题生成中的照片。  
    ![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]  
    我们可以将机器学习算法学习的映射总结为一个函数（f），该函数在给定输入（X）的情况下预测输出（y），或者重申：

y = f(X)

我们拟合机器学习算法的目标是为我们的目的获得最好的 f()。

我们正在训练模型以在给定输入的情况下对未来进行预测，因为我们没有输出的情况。输出未知的地方。这要求算法通常学习如何从域中获取观察并做出预测，而不仅仅是训练数据的细节。

这称为泛化。

# 泛化很难，但很强大 #

机器学习算法必须从训练数据泛化到该域中所有未见观察的整个域，以便在您使用模型时做出准确的预测。

这真的很难。

这种泛化方法要求我们用来训练模型 (X) 的数据是我们希望算法学习的映射中观察的良好且可靠的样本。质量越高，代表性越强，模型就越容易学习从输入到输出存在的未知和潜在的“真实”映射。

概括意味着从特定的事物走向广泛的事物。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]

这是人类学习的方式。

*  当我们学习开车时，我们不会记住特定的道路；我们学习一般驾驶，以便我们可以在任何道路或条件下驾驶。
 *  我们在学习编码时不会记住特定的计算机程序；我们学习解决可能出现的任何业务案例的代码问题的一般方法。
 *  我们不会记住自然语言中的特定词序；我们学习单词的一般含义，并根据需要将它们组合成新的序列。

机器学习算法是从历史观察中自动概括的程序。他们可以归纳出比人类想象的更多的数据，比人类想象的更快。

这些自动化泛化机器的运行速度和规模是机器学习领域令人兴奋的地方。

# 我们更喜欢更简单的模型 #

机器学习模型是称为机器学习算法的自动化泛化过程的结果。

该模型可以说是从训练输入到训练输出的映射的概括。

可能有很多方法可以将特定问题的输入映射到输出，我们可以通过测试不同的算法、不同的算法配置、不同的训练数据等来导航这些方法。

我们无法事先知道哪种方法会产生最熟练的模型，因此我们必须测试一套方法、配置和问题的框架，以发现在选择最终模型以解决问题之前哪些方法有效以及学习的限制是什么用。

模型进行预测的技能决定了泛化的质量，并且可以在模型选择过程中作为指导。  
![在这里插入图片描述][watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]

在数以百万计的可能映射中，我们更喜欢简单的映射而不是复杂的映射。换句话说，我们更喜欢解释数据的最简单的假设。这是选择模型的一种方式，来自奥卡姆剃刀。

更简单的模型通常（但并非总是）更容易理解和维护，并且更健壮。在实践中，您可能希望选择性能最佳的最简单模型。

# 机器学习并不适用于所有问题 #

通过泛化自动学习的能力很强大，但并不适合所有问题。

*  有些问题需要精确的解决方案，例如银行账户余额的算术。
 *  有些问题可以通过泛化来解决，但存在更简单的解决方案，例如计算正数的平方根。
 *  有些问题看起来可以通过泛化来解决，但不存在从数据中泛化的结构化底层关系，或者这样的函数过于复杂，例如预测证券价格。

有效使用机器学习的关键是学习可以和不可以（或不应该）使用它的地方。

有时这是显而易见的，但通常并非如此。同样，您必须使用经验和实验来帮助梳理问题是否适合通过泛化解决。

[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16]: /images/20220828/026856a952e64bb9b380f6f6af8b0128.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220828/f5a01273af624d4da485091fc7f2ecbd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220828/5f8bc30711de4aacb703ef65bdd89bbd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBATXLmlbDmja7mnag_size_20_color_FFFFFF_t_70_g_se_x_16 3]: /images/20220828/14bfd83b8b4944a6b8105a187fe420c3.png