吴恩达深度学习02-2.9 学习率衰减

红太狼 2022-12-27 07:34 212阅读 0赞

### 目录 ###

*  引子
 *  怎样对学习率进行控制

# 引子 #

*  ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]  
    倘若不随着训练的进行来对学习率进行适当的控制，则会出现上图中蓝色曲线的情况，即最终参数值会以**较大**的幅度在收敛值附近摆动；倘若对其进行控制，则会出现上图中绿色曲线的情况，即最终参数值会以**原来越小**的幅度在收敛值附近摆动。
 *  很显然，你更希望出现绿色的情况。

# 怎样对学习率进行控制 #

*  很明显，学习率需要不断的衰减，那么常用的衰减策略是什么呢？
 *  吴恩达老师一共给出了三种计算公式，下面是第一种。![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]
 *  第2、3种:  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]  
    可以看出，第二种属于指数下降。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70]: /images/20221120/8e36e76a8b5548ebaab1c97682bb64bc.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 1]: /images/20221120/66c42d0cdd8f4434be6461ac67743f36.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMDc2Nzk3_size_16_color_FFFFFF_t_70 2]: /images/20221120/2a71794e1b56448aac545c1b8b6b5d2c.png

发表评论取消回复

表情：

评论列表（有 0 条评论，212人围观）

还没有评论，来说两句吧...

相关阅读

相关吴恩达_深度学习概论

吴恩达深度学习笔记，不严谨之处还请斧正。 2. 什么是神经网络？由一个或多个参数输入信息经过算法计算、计算后结果输出的过程可以看做一个计算单元，可以比作神经元。一

待我称王封你为后i/ 2023年07月24日 02:25/ 0 赞/ 33 阅读

相关吴恩达深度学习04-2.67 Inception网络

目录 why how Problem what why 如果你不清楚选用什么尺寸的卷积核来进行卷积操作，那么Inception可以帮

╰半橙微兮°/ 2023年01月07日 03:42/ 0 赞/ 204 阅读

相关【吴恩达深度学习】CNN

1. 为什么padding 如果不padding，不停地卷积下去，获得的图像越来越小。不padding做卷积，维度是如何变化的？ ![在这里插入图片描述][wate

清疚/ 2022年12月27日 11:22/ 0 赞/ 208 阅读

相关吴恩达深度学习02-3.1 调试处理

目录超参数重要程度调参策略超参数重要程度在深度学习的诸多超参数中，吴恩达老师提出了自己对于超参数重要程度的见解： ![在这里

客官°小女子只卖身不卖艺/ 2022年12月27日 07:36/ 0 赞/ 218 阅读

相关吴恩达深度学习02-2.9 学习率衰减

目录引子怎样对学习率进行控制引子 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shad

红太狼/ 2022年12月27日 07:34/ 0 赞/ 213 阅读

相关【深度学习】Dropout与学习率衰减

【深度学习】Dropout与学习率衰减文章目录【深度学习】Dropout与学习率衰减 1 概述 2 在Keras中使用Dropout

阳光穿透心脏的1/2处/ 2022年11月18日 15:50/ 0 赞/ 236 阅读

相关吴恩达深度学习——读书笔记

神经网络和深度学习深度学习概述深度学习（Deep Learning）是更复杂的神经网络（Neural Network）。这是一个基本的神经网络模型结构。在

你的名字/ 2022年10月11日 03:59/ 0 赞/ 284 阅读

相关吴恩达《深度学习》课程介绍

吴恩达《深度学习》（Andrew Ng 《Deep Learning》）专业课程主要有五门课组成： 1.神经网络和深度学习（Neural Networks and Deep

深藏阁楼爱情的钟/ 2022年06月09日 08:58/ 0 赞/ 277 阅读

相关吴恩达神经网络学习笔记

吴恩达神经网络学习笔记：[网易云笔记入口][Link 1] [Link 1]: http://note.youdao.com/noteshare?id=0f9967723e

Myth丶恋晨/ 2022年02月17日 05:11/ 0 赞/ 331 阅读

相关吴恩达机器学习

机器学习(Machine Learning)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科，专门研究计算机怎样模拟或实现人类的学习行为，以获

短命女/ 2021年09月25日 10:54/ 0 赞/ 551 阅读