[work*] 如何理解最小二乘法

Dear 丶 2022-05-08 00:06 180阅读 0赞

本文写的太好, 转自马同学

线性代数的概念很多，我们的“马同学线性代数”通过如下的通俗易懂的方式进行讲解，感兴趣可以点击最下方的“阅读原文”报名参加。

最小平方法是十九世纪统计学的主题曲。

从许多方面来看, 它之于统计学就相当于十八世纪的微积分之于数学。

\----乔治·斯蒂格勒《The History of Statistics》

**1 日用而不知**

来看一个生活中的例子。比如说，有五把尺子：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1][]

用它们来分别测量一线段的长度，得到的数值分别为（颜色指不同的尺子）：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1][]

之所以出现不同的值可能因为：

*  不同厂家的尺子的生产精度不同
 *  尺子材质不同，热胀冷缩不一样
 *  测量的时候心情起伏不定
 *  ......

总之就是有误差，这种情况下，一般取平均值来作为线段的长度：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 1][]

日常中就是这么使用的。可是作为很事'er的数学爱好者，自然要想下：

*  这样做有道理吗？
 *  用调和平均数行不行？
 *  用中位数行不行？
 *  用几何平均数行不行？

**2 最小二乘法**

换一种思路来思考刚才的问题。

首先，把测试得到的值画在笛卡尔坐标系中，分别记作 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1][] ：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 2][]

其次，把要猜测的线段长度的真实值用平行于横轴的直线来表示（因为是猜测的，所以用虚线来画），记作 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3][] ：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 4][]

每个点都向 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3][] 做垂线，垂线的长度就是 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 5][] ，也可以理解为测量值和真实值之间的误差：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 6][]

因为误差是长度，还要取绝对值，计算起来麻烦，就干脆用平方来代表误差：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 7][]

误差的平方和就是（ ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 8][] 代表误差）：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 9][]

因为 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3][] 是猜测的，所以可以不断变换：

![640_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1][]

自然，误差的平方和 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 10][] 在不断变化的。

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 1][]

法国数学家，阿德里安-马里·勒让德（1752－1833，这个头像有点抽象）提出让总的误差的平方最小的 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3][] 就是真值，这是基于，如果误差是随机的，应该围绕真值上下波动（关于这点可以看下[这篇文章][Link 1]）。

勒让德的想法变成代数式就是：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 11][]

这个猜想也蛮符合直觉的，来算一下。

这是一个二次函数，对其求导，导数为0的时候取得最小值：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 1][]

进而：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 12][]

正好是算术平均数。

原来算术平均数可以让误差最小啊，这下看来选用它显得讲道理了。

以下这种方法：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 11][]

就是**最小二乘法**，所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。

**3 推广**

算术平均数只是最小二乘法的特例，适用范围比较狭窄。而最小二乘法用途就广泛。

比如温度与冰淇淋的销量：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 13][]

看上去像是某种线性关系：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 14][]

可以假设这种线性关系为：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 15][]

通过最小二乘法的思想：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 16][]

上图的 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 17][] 分别为：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 18][]

总误差的平方为：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 19][]

不同的 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 20][] 会导致不同的 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 10][] ，根据多元微积分的知识，当：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 21][]

这个时候 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 10][] 取最小值。

对于 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 20][] 而言，上述方程组为线性方程组，用之前的数据解出来：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 22][]

也就是这根直线：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 2][]

其实，还可以假设：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 3][]

在这个假设下，可以根据最小二乘法，算出 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 23][] ，得到下面这根红色的二次曲线：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 24][]

同一组数据，选择不同的 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 4][] ，通过最小二乘法可以得到不一样的拟合曲线（[出处][Link 2]）：

![640_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1 1][]

不同的数据，更可以选择不同的 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 4][] ，通过最小二乘法可以得到不一样的拟合曲线：

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 2][]

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 4][] 也不能选择任意的函数，还是有一些讲究的，这里就不介绍了。

**4 最小二乘法与正态分布**

我们对勒让德的猜测，即最小二乘法，仍然抱有怀疑，万一这个猜测是错误的怎么办？

![640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3][]

数学王子高斯（1777－1855）也像我们一样心存怀疑。

高斯换了一个思考框架，通过概率统计那一套来思考。

让我们回到最初测量线段长度的问题。高斯想，通过测量得到了这些值：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1][]

每次的测量值 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 25][] 都和线段长度的真值 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 26][] 之间存在一个误差：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 27][]

这些误差最终会形成一个概率分布，只是现在不知道误差的概率分布是什么。假设概率密度函数为：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 28][]

再假设一个联合概率，这样方便把所有的测量数据利用起来：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 29][]

把 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 26][] 作为变量的时候，上面就是似然函数了（关于似然函数以及马上要讲到的最大似然估计，可以参考[这篇文章][Link 3]）。

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 30][] 的图像可能是这样的（随便画的）：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 31][]

根据最大似然估计的思想，联合概率最大的最应该出现（既然都出现了，而我又不是“天选之子”，那么自然不会是发生了小概率事件），也就是应该取到下面这点：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 32][]

当下面这个式子成立时，取得最大值：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 33][]

然后高斯想，最小二乘法给出的答案是：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 34][]

如果最小二乘法是对的，那么 ![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 5][] 时应该取得最大值，即：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 35][]

好，现在可以来解这个微分方程了。最终得到：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 36][]

这是什么？这就是正态分布啊。

并且这还是一个充要条件：

![640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 37][]

也就是说，如果误差的分布是正态分布，那么最小二乘法得到的就是最有可能的值。

那么误差的分布是正态分布吗？

如果误差是由于随机的、无数的、独立的、多个因素造成的，比如之前提到的：

*  不同厂家的尺子的生产精度不同
 *  尺子材质不同，热胀冷缩不一样
 *  测量的时候心情起伏不定
 *  ......

那么根据中心极限定理（参考[这篇文章][Link 4]），误差的分布就应该是正态分布。

虽然勒让德提出了最小二乘法（高斯说他最早提出最小二乘法，只是没有发表），但是高斯的努力，才真正奠定了最小二乘法的重要地位。

[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1]: /images/20220508/6415a82f1ae44e78bdd1035b3f4f93fb.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1]: /images/20220508/ff4b232d6c6b41dc9b89b939a2661e8f.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 1]: /images/20220508/d3ad7d8292724f3d995de70b6d216cb9.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1]: /images/20220508/ac86f150e2ef41feb8fccd169d67914b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 2]: /images/20220508/0b577533d6a34c2fa7c11b446dc7ef70.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3]: /images/20220508/c02b4b54cdc3496abc91d12ad3eb0276.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 4]: /images/20220508/9d42a780860b4d389d451907fb511b8b.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 5]: /images/20220508/2e59586b7e0f4dedbfa26b1f1cba2789.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 6]: /images/20220508/a5700471be4b486bad67b59edc7b50f0.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 7]: /images/20220508/3254b32e08bf44fe8074b468a9c1bd6c.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 8]: /images/20220508/03e26b4ca73c42bfa9b8ebe8a5c44a96.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 9]: /images/20220508/37fe29b9f0554330ae75ffd6a5475db2.png
[640_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1]: /images/20220508/46b75dd8332c440995476f5347adbbf1.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 10]: /images/20220508/941bf7480691458f9b3da138609b2956.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 1]: /images/20220508/4da1b07d8acb40ea9098d7a89ec89805.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzIyMTU0NDMyNA==&mid=2247490340&idx=1&sn=0d2b1bcacd3aec82de88038c6ee3fa9a&chksm=e83a71cfdf4df8d9ab5d789bdaad4c9fe2744210ee6fa339f3a48ad6aabf83f31fc0aa228fe9&scene=21#wechat_redirect
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 11]: /images/20220508/e021180655d84376a401b4c1d196c199.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 1]: /images/20220508/fc4821cb54ba480ead8b0b14c7d3b7b6.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 12]: /images/20220508/13813adc7ff9446a94997127afd072e8.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 13]: /images/20220508/816334c61a604a42b4fa07fb9b94f3be.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 14]: /images/20220508/ff4f80fd93ef43faa5757cb4c9b79cd0.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 15]: /images/20220508/7eedd0e6ab824eff8972aac5f60d6e48.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 16]: /images/20220508/45a8605b55094fb2a849d7bb0630e532.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 17]: /images/20220508/5b683fb5d06b424c9e881c4007205721.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 18]: /images/20220508/433da63cb0fe4893af1d12c1790219cd.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 19]: /images/20220508/d90a13131f984ac182dd0936f73d5877.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 20]: /images/20220508/2088e5789fcd42bfa1280876a55f78e8.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 21]: /images/20220508/90d49000a35a419c839b36b551c8966e.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 22]: /images/20220508/dde42d3af22d4c418f56a865995e7745.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 2]: /images/20220508/0f06f03067c84e09ab40d902e34b39a7.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 3]: /images/20220508/b45fc16a5ee744ea91a60d6e417410a5.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 23]: /images/20220508/0dbbfbbc47db4b628c6e037fccaac26a.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 24]: /images/20220508/f890ec8ba80f4ffc8d4390354c488688.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 4]: /images/20220508/dfb5797da12a4a45b9ed79455dd28335.png
[Link 2]: https://de.wikipedia.org/wiki/Methode_der_kleinsten_Quadrate
[640_wx_fmt_gif_tp_webp_wxfrom_5_wx_lazy_1 1]: /images/20220508/ab31a12ca4284e0b87faf152cdd8514a.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 2]: /images/20220508/8dccfc5425bd40a2b0833f745fc8cc61.png
[640_wx_fmt_jpeg_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 3]: /images/20220508/5af246d06efc416283df6a2b0fdebdb9.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 25]: https://mmbiz.qpic.cn/mmbiz_png/7ibFSuc91QWsK7x6d2LMrQpKpVI1PMwiaicD6Ue3frLwCsXNOhFvPonYzpma45va1HJXSXREx9OWibWskr03L1mdUg/640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=1&wx_co=1
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 26]: /images/20220508/4023b4e96133405b9f832fc294c2cfd8.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 27]: /images/20220508/feae75bde7044f8298474a5064072324.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 28]: /images/20220508/927715beefce414f9d68b390ad21d572.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 29]: /images/20220508/b6cf7752eeae4e8599838309a28fdbe1.png
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzIyMTU0NDMyNA==&mid=2247488235&idx=1&sn=03839c21ea3d558ee9378ea029461db6&chksm=e83a7800df4df1160cadf9f7867fc62774a47fcab34726b1b0de723e01891a7896b3748b9deb&scene=21#wechat_redirect
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 30]: /images/20220508/55825a389d1046d99159996d3ac9202a.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 31]: /images/20220508/9f88d165a2cb4db6998cfdfc71d1d14e.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 32]: /images/20220508/c338efde87b446a7b45d845350214e48.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 33]: /images/20220508/b87e5f4490e947d68d14099896c3400a.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 34]: /images/20220508/1f33241bb138420f9887a8b916cb3183.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1_retryload_1 5]: /images/20220508/159b7ab5cc484b23ac23589540b14d1a.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 35]: /images/20220508/d64296af4e164ec2ac09d47e5ae41c5a.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 36]: /images/20220508/1f82e9aa990547a690484f3807a198a5.png
[640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1_wx_co_1 37]: /images/20220508/7f7102faa0e0459ea458c8d0332e617b.png
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzIyMTU0NDMyNA==&mid=2247489208&idx=1&sn=349dc42f33befe49007c7b0eb33e68bf&chksm=e83a7c53df4df545abc55743f90c9da3014d248f4a9b6c8ab9b4a377ee0cfd1773fb0022f223&scene=21#wechat_redirect