循环神经网络-Recurrent Neural Networks

水深无声 2022-07-12 08:55 353阅读 0赞

循环神经网络(Recurrent Neural Networks)是目前非常流行的神经网络模型,在自然语言处理的很多任务中已经展示出卓越的效果。但是在介绍 RNN 的诸多文章中,通常都是介绍 RNN 的使用方法和实战效果,很少有文章会介绍关于该神经网络的训练过程。

循环神经网络是一个在时间上传递的神经网络,网络的深度就是时间的长度。该神经网络是专门用来处理时间序列问题的,能够提取时间序列的信息。如果是前向神经网络,每一层的神经元信号只能够向下一层传播,样本的处理在时刻上是独立的。对于循环神经网络而言,神经元在这个时刻的输出可以直接影响下一个时间点的输入,因此该神经网络能够处理时间序列方面的问题。

本文将会从数学的角度展开关于循环神经网络的使用方法和训练过程,在本文中,会假定读者已经掌握数学分析中的导数,偏导数,链式法则,梯度下降法等基础内容。本文将会使用传统的后向传播算法(Back Propagation)来训练 RNN 模型。

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 1

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 2

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 3

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 4

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 5

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 6

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 7

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 8

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 9

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 10

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 11

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 12

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 13

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 14

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 15

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 16

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 17

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 18

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 19

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 20

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 21

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 22

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 23

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 24

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 25

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 26

640_wx_fmt_png_tp_webp_wxfrom_5_wx_lazy_1 27

640_wx_fmt_other_tp_webp_wxfrom_5_wx_lazy_1

发表评论

表情:
评论列表 (有 0 条评论,353人围观)

还没有评论,来说两句吧...

相关阅读