深度学习优化函数详解（0）-- 线性回归问题

素颜马尾好姑娘i 2022-05-29 13:10 188阅读 0赞

**深度学习优化函数详解系列目录**  
深度学习优化函数详解（0）– 线性回归问题  
深度学习优化函数详解（1）– Gradient Descent 梯度下降法  
深度学习优化函数详解（2）– SGD 随机梯度下降  
深度学习优化函数详解（3）– mini-batch SGD 小批量随机梯度下降  
深度学习优化函数详解（4）– momentum 动量法  
深度学习优化函数详解（5）– Nesterov accelerated gradient (NAG)  
深度学习优化函数详解（6）– adagrad

**序**

在做一些深度学习的算法的时候，都会用到优化函数，在各种成熟的框架中，基本就是一行代码的事，甚至连默认参数都给你设置好了，基本不用动什么东西，最后也会有比较好的优化结果。但是对于优化函数这么核心，这么基本的东西总是模棱两可实在不应该。于是想自己把一些常用的优化函数从原理上搞清楚，所以才有了这个系列的文章。每一篇文章都有配套的python代码，文末会给出地址。

**线性回归问题（Linear Regression）**

假设我们有一组数据，是一些房子的面积和价格。如下

![无][SouthEast]

用这些数据我们可以在坐标系中绘制出一系列散点

![无][SouthEast 1]

我们所想要解决的问题，就是给出任意的一个面积，预测对应的房价。 所以这是一个预测问题。也就是回归问题。  
这里我们用最简单的线形模型来做房价预测。那么这个问题也可以称之为线性回归问题。  
线形模型简单来说就是直角坐标系中的一根线，用

y=ax+b

表示。这里a和b就是我们要优化的参数。换句话说，我们要通过接下来写的一套算法，找到最优的 a和b。  
很明显，人眼来看上面的图，直接可以画出一条斜线，但对于机器来说，这个事就有点困难了。假设我们先给定一组参数  
a=1,b=0,画一条线看看

![无][SouthEast 2]

可以看出，参数a并未提供太大的斜率，这是由于横坐标和纵坐标尺度差距太大所造成的，在后期的训练中，数据在各个维度上尺度差异太大很容易造成训练速度过慢。所以一般来说，在训练之前，我们首先会对数据做归一化处理，统一归到\[0,1\]之间，上公式：

![无][SouthEast 3]

这样就得到归一化之后的数据

![无][SouthEast 4]

再画一遍上面的图。

![无][SouthEast 5]

再对数据做过预处理之后，我们现在就来评判y=x(a=1,b=0)这条线多大程度上完成了预测。显然的，我们会用到我们的训练数据 代入到模型y=x中，看看和实际结果差多少。通过模型得到的结果我们称之为预测值yp（p小写）

![无][SouthEast 6]

通过差值可以很明显的看出预测和实际真值有一定的差距，那么如何定量描述这种差距呢？通常我们会用差值的平方和 来表示，如下

![无][SouthEast 7]

接着把每一个平方和的值做一个累加，得到一个值0.2172。我们一共有8组数据，再把这个数除以8。然后再除以2，就得到了一个我们称之为loss的数值0.01357,写成公式就是下面这样：  
![无][SouthEast 8]

除以2是为了后面求梯度的时候方便，除以m是做一个平均的量化。

这种求loss的方法称之为**Mean Squared Error (MSE), 即均方差**。  
接下来的目标很明确，就是

如何不断的调整参数a,b来使loss越来越小，最终令预测尽可能接近真实值

从这一点出发，很多人做了很多不同的工作，我们将这些方法统称为优化函数  
后面的文章将一一解读各种常用的优化函数  
本文代码地址：[https://github.com/tsycnh/mlbasic/blob/master/p0.py][https_github.com_tsycnh_mlbasic_blob_master_p0.py]

[SouthEast]: /images/20220529/6b9bebebedc041c7891babf7497b4d77.png
[SouthEast 1]: /images/20220529/ec15951687a54cf8b86b4a73cce5cd30.png
[SouthEast 2]: /images/20220529/b7d5ef26dc5f4e1798f606e2a97fc9d7.png
[SouthEast 3]: /images/20220529/fedcc540eed346c1ad994eb38e608bd5.png
[SouthEast 4]: /images/20220529/15fe7e096f244600b845e368c01cf3e1.png
[SouthEast 5]: /images/20220529/bbfeadd5237d40febe54297ffc543859.png
[SouthEast 6]: /images/20220529/759a4f30f4b6433d9e4efc089dc7ef9c.png
[SouthEast 7]: /images/20220529/bf58916a137340d7b2f9c9017d9791fd.png
[SouthEast 8]: /images/20220529/9d0ebd5692174c97a7313fe9236cedb2.png
[https_github.com_tsycnh_mlbasic_blob_master_p0.py]: https://github.com/tsycnh/mlbasic/blob/master/p0.py