回归函数和代价函数

蔚落 2022-11-27 15:50 334阅读 0赞

### 文章目录 ###

*  导读
 *  回归函数
 *   *  猫娘的年龄-食量预测
     *  方程构造
     *  未知事件的预测
 *  代价函数
 *  真正的回归

# 导读 #

**这里将会从一个简单的例子引入话题。例子是一个自变量和一个因变量构成的一元一次函数。因为同时兼顾了有趣和浅显，例子也是相当的乱来。能看懂就好，不要介意这些细节啦。**

# 回归函数 #

在说明代价函数前我们先复习回归函数。

## 猫娘的年龄-食量预测 ##

现在你突发奇想，想知道**猫娘年龄和猫粮食用量之间的关系**，你跑遍了全世界找到了所有的**20万只猫娘**，问到了食量，作了个匿名记录，记下了**年龄**和**食量**的关系，并总结出了一张**散点图**。你看着你家幼小的猫娘，看了看散点表，**预测**出了她这个年龄大概吃多少。当然，你非常疼爱你的猫娘，**不够吃的话肯定还是会加**，**吃不下也会多加调整**。

![pid=143825][pid_143825]

**我知道你很想吐槽，但现在憋着，看完了再吐槽。**

首先，通过这个例子，我们先重点强调一些细节：

*  20万只猫娘是你的**样本容量**，足以说明问题；
 *  这里自变量是年龄，因变量是食量，只是一个单纯的**一元一次方程**;
 *  虽然能够收集非常多数据，但是你**只能画出散点图**；
 *  你需要为你的小猫娘**预测**食量；

明白了这些细节之后，我们应该怎么操作呢？从初中到大学我们学到的**线性回归方程**就是为了这个问题服务的。

通过散点图，你可以使用一条直线贯穿大部分的点，一些**少有偏离可能是个体差异**，比如活泼、好动、成长期还有发情期等等；同样也一定有**过于偏离**这条直线的散点数据，**少量则有可能是记录错误**，而大量的话要么是**有其他决定条件**，要么是**数学模型选择错误**。

**这里我们就假定没有其他条件而且数学模型就是一元一次函数**。

## 方程构造 ##

如果你大学认真学习了《概率论与数理统计》，那么你应该对线性回归方程不陌生。

**于是你在草稿纸上熟练地写出：**

猫娘的食量`Y`和猫娘的年龄`x`之间有线性关系，设

Y Y Y =  β 0 \\beta\_0 β0 \+  β 1 x + ϵ \{\\beta\_1\}x+\\epsilon β1x\+ϵ，其中 β 0 \\beta\_0 β0和 β 1 \\beta\_1 β1是待定系数， ϵ \\epsilon ϵ是随机误差，满足 ϵ \\epsilon ϵ~ N ( 0 , σ 2 ) N(0,\\sigma^2) N(0,σ2)

既然 ϵ \\epsilon ϵ服从正态分布，那么`Y`呢？

由于`Y`与`x`的关系为线性关系，所以就有：

E Y = E ( β 0 + β 1 x ) = β 0 + β 1 E ( x ) EY=E(\\beta\_0+\{\\beta\_1\}x)=\\beta\_0+\{\\beta\_1\}E(x) EY=E(β0\+β1x)=β0\+β1E(x)

所以 Y Y Y~ N ( β 0 + β 1 x , σ 2 ) N(\\beta\_0+\{\\beta\_1\}x,\\sigma^2) N(β0\+β1x,σ2)

你可能会怀疑到这一步能够得出什么。这个只能说在一定的正确率范围内预测这个事实，而不能完完全全的当作必然。

## 未知事件的预测 ##

那么，怎么预测呢？在这个只有离散型数据的图表中，如何才可以制定一个尽可能正确的线性方程呢？这就需要**最小二乘估计**。

我们先忽略 ϵ \\epsilon ϵ的影响，因为无法预测；然后将线性方程简化为我们能够预测的样子，并将我们所收集的样本值一一对应进去。所以就是：

y i ^ = β 0 ^ + β 1 ^ x i \\hat\{y\_i\}=\\hat\{\\beta\_0\}+\\hat\{\\beta\_1\}x\_i yi^=β0^\+β1^xi

需要注意的是，这个是我们的预测函数，而不是实际规律。没人知道实际规律，因为总有这样那样的误差，只能说尽可能的出一个大家都认同的规律。

代入每一个实际的 x i x\_i xi，我们都能获得一个预测的 y i ^ \\hat\{y\_i\} yi^。而实际的 x i x\_i xi却又对应事实成立的 y i y\_i yi，两者的差就是偏离度。为了尽可能拟合数据，我们应当尽可能缩小这个偏差。于是，我们准备求出每一组偏差距离，也就是**y坐标差的绝对值**，即 ∣ y i − y i ^ ∣ |y\_i-\\hat\{y\_i\}| ∣yi−yi^∣，也就是 ∣ y i − β 0 − β 1 x ∣ |y\_i-\\beta\_0-\{\\beta\_1\}x| ∣yi−β0−β1x∣，并让他最小。这部分就是高数的**拉格朗日定理**了。

**于是熟悉高数的你接着写下：**

由于现在有20万组已知数据组 ( x i , y i ) (x\_i,y\_i) (xi,yi)，所以将x、y设为已知量，令n=200,000，且

L ( β 0 , β 1 ) = ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 L(\\beta\_0,\\beta\_1)=\\sum^\{n\}\_\{i=1\}(y\_i-\\beta\_0-\{\\beta\_1\}x\_i)^2 L(β0,β1)=i=1∑n(yi−β0−β1xi)2

分别对 β 0 \\beta\_0 β0和 β 1 \\beta\_1 β1求偏导，并令偏导为0，能够得出两个等式：

∂ L ( β 0 , β 1 ) ∂ β 0 = − 2 ∑ i = 1 n ( y i − β 0 − β 1 x ) = 0 ⋯ ① \{\\frac\{\\partial L(\\beta\_0,\\beta\_1)\}\{\\partial\\beta\_0\}\}=-2\\sum^\{n\}\_\{i=1\}(y\_i-\\beta\_0-\{\\beta\_1\}x)=0\\cdots① ∂β0∂L(β0,β1)=−2i=1∑n(yi−β0−β1x)=0⋯①

∂ L ( β 0 , β 1 ) ∂ β 1 = − 2 ∑ i = 1 n ( y i − β 0 − β 1 x ) = 0 ⋯ ② \{\\frac\{\\partial L(\\beta\_0,\\beta\_1)\}\{\\partial\\beta\_1\}\}=-2\\sum^\{n\}\_\{i=1\}(y\_i-\\beta\_0-\{\\beta\_1\}x)=0\\cdots② ∂β1∂L(β0,β1)=−2i=1∑n(yi−β0−β1x)=0⋯②

解得：

β 0 = ( ∑ i = 1 n y i ) ( ∑ i = 1 n x i 2 ) − ( ∑ i = 1 n x i ) ( ∑ i = 1 n x i y i ) n ( ∑ i = 1 n x i 2 ) − ( ∑ i = 1 n x i ) 2 \\beta\_0=\\frac\{(\\sum^n\_\{i=1\}y\_i)(\\sum^n\_\{i=1\}x\_i^2)-(\\sum^n\_\{i=1\}x\_i)(\\sum^n\_\{i=1\}x\_iy\_i)\}\{n(\\sum^n\_\{i=1\}x\_i^2)-(\\sum^n\_\{i=1\}x\_i)^2\} β0=n(∑i=1nxi2)−(∑i=1nxi)2(∑i=1nyi)(∑i=1nxi2)−(∑i=1nxi)(∑i=1nxiyi)

β 1 = n ( ∑ i = 1 n x i y i ) − ( ∑ i = 1 n x i ) ( ∑ i = 1 n y i ) n ( ∑ i = 1 n x i 2 ) − ( ∑ i = 1 n x i ) 2 \\beta\_1=\\frac\{n(\\sum^n\_\{i=1\}x\_iy\_i)-(\\sum^n\_\{i=1\}x\_i)(\\sum^n\_\{i=1\}y\_i)\}\{n(\\sum^n\_\{i=1\}x\_i^2)-(\\sum^n\_\{i=1\}x\_i)^2\} β1=n(∑i=1nxi2)−(∑i=1nxi)2n(∑i=1nxiyi)−(∑i=1nxi)(∑i=1nyi)

***以上这些推导摘自《概率论与数理统计》理工类第五版，吴赣昌主编***

相信你解到这一步的时候都快疯掉了，直接看答案的估计也蒙圈了。你放心，这玩意在2020年绝对不会靠人算，如果真的碰到了那也只能祝你好运了。

不过就算是这种算式也是能够简化到一定地步的。别忘了还有这些：

x ˉ = ∑ i = 1 n x i n \\bar\{x\}=\\frac\{\\sum^n\_\{i=1\}x\_i\}\{n\} xˉ=n∑i=1nxi， y ˉ = ∑ i = 1 n y i n \\bar\{y\}=\\frac\{\\sum^n\_\{i=1\}y\_i\}\{n\} yˉ=n∑i=1nyi

整理得：

β 1 ^ = ∑ i = 1 n x i y i − n x ˉ y ˉ ∑ i = 1 n x i 2 − n x ˉ 2 \\hat\{\\beta\_1\}=\\frac\{\\sum^n\_\{i=1\}x\_iy\_i-n\\bar\{x\}\\bar\{y\}\}\{\\sum^n\_\{i=1\}x\_i^2-n\\bar\{x\}^2\} β1^=∑i=1nxi2−nxˉ2∑i=1nxiyi−nxˉyˉ

β 0 ^ = y ˉ − x ˉ β 1 ^ \\hat\{\\beta\_0\}=\\bar\{y\}-\\bar\{x\}\\hat\{\\beta\_1\} β0^=yˉ−xˉβ1^

是不是觉得好看多了？而且这样子也更便于计算。

于是将 β 0 \\beta\_0 β0、 β 1 \\beta\_1 β1代入方程就求出来了。

**这下子你就能够用这个方程来预测你的小猫娘会吃多少啦！**

![pid=142659][pid_142659]

# 代价函数 #

好了，讲了这么久的回归函数，是不是完全不知道这玩意和代价函数有什么关系？别担心，慢慢来。

在机器学习中，我们主要希望计算机尽可能贴近事实，也就是尽可能计算最为贴近所有样本的一元线性函数（*当然也有可能是别的什么函数，这里以一元线性为例*）。

既然是尽可能贴近，我们就会在其中筛选不贴近的、折衷较为贴近的、选取最为贴近的。于是：

*  针对**单个样本**，我们规定了**损失函数**，也就是在整个线性规划的过程中产生偏差的量；
 *  针对**全部取样样本**，我们规定了**代价函数**，也就是研究在线性规划中整个取样的样本产生偏差的量；
 *  针对**最终结果**，我们规定了**目标函数**，也就是在尽可能照顾到所有取样样本之后研究出的最贴近事实的函数

一开始听起来像是三个新词？这么一说明，是不是开始和以前的线性规划对上了？

*  **损失函数**，其实就是**残差**，以前我们记为 e e e；
 *  **代价函数**其实就是残差的绝对值的和，但是因为计算不方便，我们全部平方了，也就是残差的平方和，最后求导再除2就是最终结果；
 *  **目标函数**，就是在**代价函数在取值范围内最小**的情况下拟合出来的函数。

好了，到这里答案就出来了。代价函数就是求解线性方程时使用的拉格朗日定理构造的函数。之前我们定义的是：

L ( β 0 , β 1 ) = ∑ i = 1 n ( y i − β 0 − β 1 x i ) 2 L(\\beta\_0,\\beta\_1)=\\sum^\{n\}\_\{i=1\}(y\_i-\\beta\_0-\{\\beta\_1\}x\_i)^2 L(β0,β1)=i=1∑n(yi−β0−β1xi)2

但是同时要兼顾到计算的简便，我们再取一个求导之后不会有系数的函数：

L ( β 0 , β 1 ) = ∑ i = 1 n ( β 0 + β 1 x i − y i ) 2 2 n L(\\beta\_0,\\beta\_1)=\\frac\{\\sum^\{n\}\_\{i=1\}(\\beta\_0+\{\\beta\_1\}x\_i-y\_i)^2\}\{2n\} L(β0,β1)=2n∑i=1n(β0\+β1xi−yi)2

不仅在求导的时候去掉了系数 2 2 2，还避免了符号问题，顺便还提供了一个 1 n \\frac\{1\}\{n\} n1方便计算均值。不得不说，**NICE**！

# 真正的回归 #

虽然使用计算器我们能够得到比较接近的结果，但是这么做依然相当的耗时间、耗资源。所以，现在我们就将整个计算过程脱离出来，使用迭代的方法一步步逼近结果。这个迭代的过程用公式表达就是：

β i = β i − α n ∑ i = 1 n ( f ( x i ) − y i ) 2 \\beta\_i=\\beta\_i-\\frac\{\\alpha\}\{n\}\\sum^n\_\{i=1\}(f(x\_i)-y\_i)^2 βi=βi−nαi=1∑n(f(xi)−yi)2

其中 α \\alpha α是学习步长，而 n n n是学习样本的大小， f ( x ) f(x) f(x)是目标函数，而 ∑ i = 1 n ( f ( x i ) − y i ) 2 \\sum^n\_\{i=1\}(f(x\_i)-y\_i)^2 ∑i=1n(f(xi)−yi)2就是我们的代价函数。

当然，面对大批量数据时依然一次只探究一个对象，这样做能够屏蔽整体数据的自变量个数，也就是解空间的维度，从而获得更为高可用的算法。

你担心这样复杂的算法会拖慢计算机速度？当然不是把这个模型直接搬给计算机去算的啦，这只不过是数学推导过程，最后还是要根据计算机的特点尽可能化简成只有次数不多的加减、涵盖了大部分重复劳动的算法。

[pid_143825]: /images/20221124/f242555886af4bb5849babecd4a0951a.png
[pid_142659]: /images/20221124/e5f41c6a33d34082b003d860d80c9415.png