RNN里面使用dropout

╰半橙微兮° 2022-12-06 15:50 153阅读 0赞

RNN通常意义上是不能使用dropout的，因为RNN的权重存在累乘效应，如果使用dropout的话，会破坏RNN的学习过程。

但是，Google Brain在15年专门发表了一篇文章研究这个：[recurrent neural network regularization][]

他们在非循环阶段使用了dropout，改善了过拟合的现象

论文在两个地方使用了dropout，图中虚线部分就是使用了dropout，实线部分没有使用

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70][]

非循环阶段不存在权重的累乘效应，不会破坏RNN的学习过程

为了更加清楚的看，画了一幅图：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1][]

图中的dropout和recurrent\_dropout都是dropout，只是作业在不同的地方，keras对其也有设置了参数：

**model.add(LSTM(100, dropout=0.2, recurrent\_dropout=0.2))**  
还有就是我们可以在非RNN阶段也可以使用dropout，比如这样的：

model.add(..)
    model.add(LSTM(10))
    model.add(Dropout(0.5))

上面的的代码的意思是执行LSTM之后是可以使用dropout的

![241559d14e9e547654751f116ab83e36.png][]

[recurrent neural network regularization]: https://arxiv.org/pdf/1409.2329.pdf
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70]: /images/20221123/5eb3b05c561a41a9a409fd2d47eb52a5.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3pob3VfNDM4_size_16_color_FFFFFF_t_70 1]: /images/20221123/59ee4e3404054e5986f626460394c324.png
[241559d14e9e547654751f116ab83e36.png]: /images/20221123/d433eeb0ae0643ddb21efa81e5945042.png

发表评论取消回复

表情：

评论列表（有 0 条评论，153人围观）

还没有评论，来说两句吧...

相关阅读

相关 dropout层可以重复使用吗

是的，dropout层可以重复使用。 Dropout是一种正则化技术，可以防止神经网络过拟合。它通过在训练过程中随机将一些输入单元设为0来实现，从而减少神经网络对输入的依赖程

朴灿烈づ我的快乐病毒、/ 2024年03月25日 07:05/ 0 赞/ 61 阅读

相关 pytorch Dropout

减低过拟合，一般可以通过：加大训练集、loss function 加入正则化项、Dropout 等途径。本文的主要作用是展示dropout 的作用设置Dropout时，to

怼烎@/ 2023年06月27日 06:29/ 0 赞/ 47 阅读

相关 RNN里面使用dropout

RNN通常意义上是不能使用dropout的，因为RNN的权重存在累乘效应，如果使用dropout的话，会破坏RNN的学习过程。但是，Google Brain在15年

╰半橙微兮°/ 2022年12月06日 15:50/ 0 赞/ 154 阅读

相关 Dropout和R-Dropout的使用技巧

1 引言在ML中存在两类严重的问题：过拟合和学习时间开销大当过拟合时，得到的模型会在训练集上有非常好的表现，但是对新数据的预测结果会非常的不理想。为了解决过拟合问

亦凉/ 2022年09月14日 09:20/ 0 赞/ 196 阅读

相关使用TensorFlow实现RNN

使用TensorFlow实现RNN 使用Cell实现以cell方式实现RNN %% import os import

╰+哭是因爲堅強的太久メ/ 2022年09月08日 13:52/ 0 赞/ 164 阅读

相关（dropout）

[other\_techniques\_for\_regularization][other_techniques_for_regularization] 随手翻译，略作参考

曾经终败给现在/ 2022年07月11日 04:19/ 0 赞/ 205 阅读

相关理解dropout

转载自：http://blog.csdn.net/stdcoutzyx/article/details/49022443 开篇明义，dropout是指在[深度学习][L

浅浅的花香味﹌/ 2022年06月14日 11:39/ 0 赞/ 204 阅读

相关使用tflearn 构建RNN

-- coding:utf-8 -- ''' Created on 2018-1-19 ''' import numpy as np impo

刺骨的言语ヽ痛彻心扉/ 2022年05月31日 05:43/ 0 赞/ 175 阅读

相关关于Dropout

Dropout 是一种非常非常通用的解决深层神经网络中 overfitting 问题的方法, 过程极其简单, 在调试算法中效果也非常有效, 几乎是我设计网络过程中必用的技巧.

短命女/ 2022年05月31日 00:30/ 0 赞/ 189 阅读

相关 RNN好兄弟之tf.nn.dynamic_rnn的使用

RNN好兄弟之tf.nn.dynamic\_rnn的使用学习前言 tf.nn.dynamic\_rnn的定义 tf.nn.dynamic

傷城~/ 2021年11月11日 07:38/ 0 赞/ 329 阅读