深度学习 | 【05】常见优化算法

电玩女神 2023-01-21 13:20 49阅读 0赞

### 文章目录 ###

*   *  常见优化算法
     *   *   *  1、梯度下降算法(batch gradient descent BGD)
             *  2、随机梯度下降法(Stochastic gradient descent SGD)
             *  3、小批量梯度下降(Mini-batch gradient descent MBGD)
             *  4、动量法
             *  5、AdaGrad
             *  6、RMSProp
             *  7、Adam

## 常见优化算法 ##

#### 1、梯度下降算法(batch gradient descent BGD) ####

> `每次迭代`都需要把`所有样本`都送入，这样的好处是每次迭代都顾及了全部的样本，做的是`全局最优化`。

#### 2、随机梯度下降法(Stochastic gradient descent SGD) ####

> 针对`梯度下降`算法训练速度`过慢`的缺点，提出了随机梯度下降算法，随机梯度下降算法算法是从样本中`随机抽出一组`，训练后按梯度更新一次，然后再`抽取一组`，再`更新一次`，在样本量及其大的情况下，可能不用训练完所有的样本就可以获得一个损失值在可接受范围之内的模型了。torch中的api为: `torch.optim.SGD()`

#### 3、小批量梯度下降(Mini-batch gradient descent MBGD) ####

> SGD相对来说要快很多，但是也有存在问题，由于单个样本的训练可能会带来`很多噪声`，使得SGD并不是每次迭代都向着整体最优化方向，因此在刚开始训练时可能收敛得很快，但是训练一段`时间后就会变得很慢`。在此基础上又提出了`小批量梯度下降法`，它是每次从样本中`随机抽取一小批`进行训练，而不是一组，这样即保证了`效果又保证`的速度。

#### 4、动量法 ####

>  *  `mini-batch SGD`算法虽然这种算法能够带来很好的训练速度，但是在到达最优点的时候并不能够总是真正到达最优点，而是在`最优点附近徘徊`。另一个缺点就是mini-batch SGD需要我们挑选一个`合适的学习率`，当我们采用`小`的学习率的时候，会导致网络在训练的时候`收敛太慢`；当我们采用`大`的学习率的时候，会导致在训练过程中优化的幅度`跳过函数的范围`，也就是`可能跳过最优点`。我们所希望的仅仅是网络在优化的时候网络的损失函数有一个很好的收敛速度同时又不至于摆动幅度太大。
>  *  所以，`Momentum`优化器刚好解决外卖所面临的问题，主要时基于梯度的`移动指数加权平均`，对网络的梯度进行`平滑处理`，让梯度的`摆动幅度`变得更`小`。
> 
> ![在这里插入图片描述][20210516134813669.png]

#### 5、AdaGrad ####

> 将每个参数的每一次迭代的梯度去`平方累加后再开方`，用`全局学习率`除以这个数，作为学习率的动态更新，从而达到`自适应学习率`的效果。  
> ![在这里插入图片描述][20210516135018854.png]

#### 6、RMSProp ####

> `Momentum`优化算法中，虽然初步解决了`优化中摆动幅度大`的问题，为了`进一步优化损失函数`在更新中存在摆动幅度过大的问题，并且进一步`加快函数的收敛速度`，RMSProp算法对参数的梯度使用了`平方加权平均数`。  
> ![在这里插入图片描述][20210516135325777.png]

#### 7、Adam ####

> Adam (Adaptive Moment Estimation)算法是将`Momentum`算法和`RMSProp`算法结合起来使用的一种算法，能够达到`防止梯度的摆幅大`，同时还能够`加开收敛速度`。
> 
>  *  1.需要初始化梯度的累积量和平方累积量：Vw = 0， Sw = 0
>  *  2.第t轮训练中，我们首先可以计算得到Momentum和RMSProp的参数更新：  
>     `Vw = 0.8v + 0.2*▽w` Momentum计算梯度  
>     `Sw = 0.8 *s + 0.2*(▽w)^2` RMSProp计算梯度
>  *  3.对其中的值进行处理后：  
>     ![w = w - α\*Vw/][w _ w - _Vw]

[20210516134813669.png]: /images/20221020/c9c2d4657f4b4ba3b18aa5d8f1deff63.png
[20210516135018854.png]: /images/20221020/5eca2a2e53ef42cb8baf83628b268754.png
[20210516135325777.png]: /images/20221020/7758ff0bd63d470d8025404e25339f68.png
[w _ w - _Vw]: /images/20221020/eebe45526a8d4b04ab83c906429f73e8.png