学习率的理解和设置以及指数衰减法

柔情只为你懂 2021-11-11 20:12 3500阅读 0赞

### 目录： ###

一、什么是学习率（learning rate）

二、学习率过小或过大的问题

三、学习率的设置

四、指数衰减法（exponential decay）

> ### 一、什么是学习率（learning rate）： ###
> 
> **学习率**是指导我们该如何通过损失函数的梯度调整网络权重的超参数，通过设置学习率**控制参数更新的速度**。
> 
> 我们在做神经网络时，参数权重是通过不断的训练得出的，那么这个参数每一次增加或者减少的数值就是通过学习率来控制的。  
> ![w\{\}'=w-\\alpha \\cdot \\frac\{\\partial J(w)\}\{\\partial w\}][w_w-_alpha _cdot _frac_partial J_w_partial w]  
> 在更新参数 ![w][] 时，其中 ![\\alpha][alpha] 就是学习率。

> ### 二、学习率过小或过大的问题 ###
> 
> 1、学习率过小时，**学习速度慢**，而且容易出现**过拟合**，**收敛速度慢**，一般用在训练了一定次数之后使用。
> 
> ![Vici\_\_LR1][Vici_LR1] 学习率过小（红色线代表参数变化路径）
> 
> 2、学习率过大时，**学习速度快**，但是容易出现**震荡问题**，使得训练值在最优值左右**来回摆动**，当学习率设为1时，效果就是参数在两个固定值来回摆动。而且容易造成**参数爆炸增长或减小现象**。
> 
> ![Vici\_\_LR2][Vici_LR2] 学习率过大（红色线代表参数变化路径）

> ### 三、学习率的设置 ###
> 
> 在训练过程中，一般根据训练轮数设置动态变化的学习率。
> 
>  *  刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
>  *  一定轮数过后：逐渐减缓。
>  *  接近训练结束：学习速率的衰减应该在100倍以上。
>  *  如果是迁移学习 ，由于模型已在原始数据上收敛，此时应设置较小学习率 (≤10−4≤10−4) 在新数据上进行微调 。
> 
> **学习率减缓机制：**
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td style="width:46px;">名称</td> 
>    <td style="width:179px;">&nbsp;轮数减缓（step decay）</td> 
>    <td style="width:237px;">指数减缓（exponential decay）</td> 
>    <td style="width:417px;">分数减缓（1/t1/t&nbsp;decay）</td> 
>   </tr> 
>   <tr> 
>    <td style="width:46px;">实现</td> 
>    <td style="width:179px;">每N轮学习率减半</td> 
>    <td style="width:237px;">学习率按训练轮数增长指数插值递减</td> 
>    <td style="width:417px;"><img alt="lrt=lr0/(1+kt)lrt=lr0/(1+kt)" src="https://private.codecogs.com/gif.latex?%5Cinline%20%5Cdpi%7B100%7D%20lrt%3Dlr0/%281&amp;plus;kt%29lrt%3Dlr0/%281&amp;plus;kt%29"><br> k 控制减缓幅度，t&nbsp;为训练轮数</td> 
>   </tr> 
>  </tbody> 
> </table>

> ### 四、指数衰减法（exponential decay） ###
> 
> TensorFlow提供了一种灵活的学习率设置方法——指数衰减法。
> 
> tf.train.exponential\_decay函数实现了指数衰减学习率，通过这个函数，可以先使用较大的学习率来快速得到一个比较优的解，然后随着迭代的继续逐步减小学习率。
> 
> exponential\_decay 函数会指数级地减小学习率，具体**计算公式**：
> 
> ![decayed\\\_learning\\\_rate = learning\\\_rate \* decay\\\_rate ^\{\\frac\{ global\\\_step\}\{ decay\\\_steps\}\}][decayed_learning_rate _ learning_rate _ decay_rate _frac_ global_step_ decay_steps]
> 
> exponential\_decay 函数**具体参数**：
> 
>     exponential_decay(learning_rate, global_step, decay_steps, decay_rate, staircase=False, name=None)
> 
> 其中**参数：**
> 
>  *  **decayed\_learning\_ rate** ：每一轮优化时使用的学习率，
>  *  **learning\_rate** ：事先设定的初始学习率，
>  *  **global\_step**：用于衰减计算的全局步骤。喂入一次 BACTH\_SIZE 计为一次 global\_step。
>  *  **decay\_steps** ：衰减速度，
>  *  **decay\_rate** ：衰减系数，
>  *  **staircase** ：衰减方式，False：学习率连续衰减；True：阶梯状衰减。（如下图）
> 
> 在这样的设置下， decay\_steps 通常代表了完整的使用一遍训练数据所需要的迭代轮数。  
> 这个迭代轮数也就是总训练样本数除以每一个batch 中的训练样本数。
> 
> ![Vici\_\_LR3][Vici_LR3]
> 
> 下面给出了一段**代码来示范**如何在TensorFlow 中使用tf.train.exponential\_decay 函数：
> 
>     global_step = tf.Variable(0)
>     # 通过exponential_decay函数生成学习率
>     learning_rate = tf.train.exponential_decay(
>         0.1, global_step, 100, 0.96, staircase=True)
>     
>     '''
>       使用指数衰减的学习率。在minimize函数中传入global_step, 
>       将自动更新global_step参数，从而学习率也得到更新。
>     '''
>     learning_rate = tf.train.GradientDescentOptimizer(learning_rate)\
>         .minimize(myloss, global_step=global_step)

> ### 参考文献： ###
> 
> 《Tensorflow实战Google深度学习框架（第2版）》  
> [深度学习: 学习率 (learning rate)][_ _learning rate]  
> [理解深度学习中的学习率及多种选择策略][Link 1]  
> [学习率(Learning rate)的理解以及如何调整学习率][Learning rate]  
> [TensorFlow 中的 tf.train.exponential\_decay() 指数衰减法][TensorFlow _ tf.train.exponential_decay_]

[w_w-_alpha _cdot _frac_partial J_w_partial w]: https://private.codecogs.com/gif.latex?%5Cdpi%7B120%7D%20w%7B%7D%27%3Dw-%5Calpha%20%5Ccdot%20%5Cfrac%7B%5Cpartial%20J%28w%29%7D%7B%5Cpartial%20w%7D
[w]: https://private.codecogs.com/gif.latex?%5Cdpi%7B120%7D%20w
[alpha]: https://private.codecogs.com/gif.latex?%5Cdpi%7B120%7D%20%5Calpha
[Vici_LR1]: /images/20211109/89d29caf04ee406ea4f6e09841f6f982.png
[Vici_LR2]: /images/20211109/1e55b9d1d059438caa5dd7f03b3bc420.png
[decayed_learning_rate _ learning_rate _ decay_rate _frac_ global_step_ decay_steps]: https://private.codecogs.com/gif.latex?%5Cinline%20%5Cdpi%7B200%7D%20decayed%5C_learning%5C_rate%20%3D%20learning%5C_rate%20*%20decay%5C_rate%20%5E%7B%5Cfrac%7B%20global%5C_step%7D%7B%20decay%5C_steps%7D%7D
[Vici_LR3]: /images/20211109/e87a6f6bf02b4fe588c02eb32883f2a3.png
[_ _learning rate]: https://blog.csdn.net/liulina603/article/details/80604385
[Link 1]: https://baijiahao.baidu.com/s?id=1591271039698173396&wfr=spider&for=pc
[Learning rate]: https://www.cnblogs.com/lliuye/p/9471231.html
[TensorFlow _ tf.train.exponential_decay_]: https://www.cnblogs.com/gengyi/p/9898960.html