吴恩达深度学习02-2.3 指数加权平均

你的名字 2022-12-27 01:21 212阅读 0赞

### 目录 ###

*  引例
 *  理解指数加权平均
 *  误差修正
 *  用处

# 引例 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]

*  吴恩达老师是以气温折线图为例子展开论述的。横坐标是某天，纵坐标是温度，然后图中蓝色的点代表某天的气温。
 *  上文的公式就是绘制红色、绿色、黄色曲线所用到的指数加权平均公式，公式中的参数β分别设置为0.9、0.98、0.5，对应曲线红色、绿色、黄色。
 *  然后右面的公式1/(1-β)是相当于指数加权平均所平均的天数x，可以理解为绘制某点q的时候综合了前面x天的气温平均得来的该点q的温度。
 *  所以当β=0.98的时候，综合了前面50天的气温，由此可知，它对于温度变化的反应是比较慢的，因为过去的气温影响目前气温的能力太强了，它拥有0.98的比重，所以对应图中的绿色曲线，也正因为它平均了太多天，所以它的曲线相对平滑。
 *  相反的是β=0.5，它只考虑了两天，所以它和原来的曲线趋势非常贴近，所以波动幅度巨大，相对不平滑，噪声很大。对应图中的黄色线。
 *  而红色则是比较折中的曲线，它考虑了10天的平均情况。
 *  不同的β可以起到不同的效果，从图中曲线我们也可以知道，该方法还有**平滑曲线的作用。**

# 理解指数加权平均 #

*  **那么问题来了，图中天数的确定有何道理嘛？**  
    其实我们可以展开指数加权平均的公式：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]  
    我们发现，随着递归计算的不断执行，v的值前的系数越来越小，大约到1/(1-β)次的时候，对应的v值前的系数就已经大概接近1/e了，以β=0.9为例，大约到10次的时候，对应的v值前面的系数大概是1/e了。系数已经很小了，所以基本可以认为是近10天的气温的影响作用比较大了。
 *  至于为什么是1/(1-β)吴恩达老师并未在视频中详述。我觉得应该是**β的1/(1-β)次方约等于1/e吧**
 *  另外一个问题是，指数加权平均有何优点？
 *  咱们可以从它的过程中显而易见的知道，指数加权平均是存在误差的，试想一下，如果你想计算近10天的平均，那么保存下所有的温度，然后在for循环的时候，用某个值来存储10天的温度之和再除以10不就好了嘛（也就是移动窗口），而且还没有误差，为什么非得采取有误差的指数加权平均法呢？答案很简单，就是为了不花费资源来存储这些数值，指数加权平均本质是一种递归方法，可以利用前一次的值来得到当前需要求得的值，所以只需要一个变量即可实现过程。

# 误差修正 #

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]

*  误差修正指的是图像刚开始阶段的误差。看左侧公式，由于v0是0所以计算得到的v1和v2大大小于准确值，使得图像刚开始起步缓慢，如图紫色曲线所示。
 *  修正的方法是计算得到的vt再乘以1/(1-β的t次方)，如图中公式所示。如此一来，刚开始阶段的误差便缩小了，当t足够大的时候，便不怎么需要进行误差修正了，正好这个公式也体现了这一点，t足够大时分母几乎为1。
 *  至于为什么这个误差只影响开头呢？你一看v1，v2的值小的有点可怕呀！本能的产生一个反应，这递归是影响全局的，难道开头这么小，不影响后面部分嘛？还真不影响，因为你忽略了公式的另一个小项(1-β)\*θ t \_\{t\} t，不要小看这一项，由于θ t \_\{t\} t的合理性，能够硬生生将初始发育不良的v给奶起来，而且由(1-β)可知，β越小，奶的越快。然后也不会过于奶，因为其递归本身就反应了曲线走势，所以很快就回归正轨了，特别是β越小，回归正轨的速度越快。
 *  **但是，有时候我们根本无需误差修正**，比如在**使用动量(Momentum)的随机梯度下降法(SGD)** 中，就不需要进行修正：  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]  
    原因是，β经常取0.9，此时相当于平均近10次的，但是v10已经足够回归正轨了（也就是说已经被奶回来了），10次是个比较小的数值，往往对于w和b的更新要远远大于10次，所以并不影响最后的结果。其实本就是如此，需要修正的时候很少，但是需要了解这些知识。

# 用处 #

*  最后我还想问一点，指数加权平均有何用？你是不是有点懵，讲了一大堆，问你这玩意有何用的时候，你哽咽了。
 *  其实这种方法大多用在深度学习的优化器中，在**使用动量(Momentum)的随机梯度下降法(SGD)** 中，对w和b进行更新的时候，就用到了**类似**指数加权平均的方法，起到了快速收敛的作用（**快于传统的梯度下降，至于为什么可以详见我的另一篇对于优化器的总结——https://blog.csdn.net/qq\_41076797/article/details/110674020**）。
 *  **也就是说，指数加权平均可以应用在深度学习中，起到了在梯度下降中快速收敛的作用。**

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20221120/9398f5fad373414ba96eb639dd688bd6.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20221120/959b9d78b9e140d5b7099afa7bd1a82c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: /images/20221120/995da23f4acf455da9c8cf0abd582dd0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 3]: https://img-blog.csdnimg.cn/20201207203405178.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3,size_16,color_FFFFFF,t_70