神经网络学习笔记-02-循环神经网络

阳光穿透心脏的1/2处 2022-07-11 16:05 370阅读 0赞

# 神经网络学习笔记-02-循环神经网络 #

本文是根据WildML的Recurrent Neural Networks Tutorial写的学习笔记。  
**不推荐阅读（写的不好）**

## 循环神经网络 ##

循环神经网络适用于处理序列化信息，比如：语言翻译，语音识别等。

如果，我们要实现一个翻译功能。首先需要理解原句中每个单词的含义。  
这就需要根据**上下文**来理解。  
假如：原句中的每个单词，以此对应神经网络中一个隐藏层。  
在传统的神经网络框架中，隐藏层直接传递的是一个矢量Out。  
这个Out矢量是原句当前每个词的一个输出，比如：含义等等。  
那么，如何保存和传递**上下文**这个信息呢？  
循环神经网络提出一个状态(state)的概念，用于传递**上下文**。

### 图 ###

*  折叠图

Recurrent Neural NetworkUxVoWs

*  展开图

Recurrent Neural Networks\_t = tanh(x\_tU + s\_\{t\_1\}W)o\_t = softmax(s\_tV)WUXt-1UXtUXt+1VOt-1WSt-1VOtWStVOt+1WSt+1

### 循环神经网络框架的一点解释 ###

与传统的神经网络架构有许多不同之处。

*  输入方式不同  
    传统的神经网络架构是静态输入，输入数据在开始前已经准备好了，并且一次全部从输入层导入。  
    循环神经网络是动态输入，每个隐藏层有一个输入，表示在时间t上的输入。
 *  隐藏层，每层的节点数不同  
    传统的神经网络架构，每个隐藏层有多个节点。  
    循环神经网络，每个隐藏层有一个节点。
 *  输出不同  
    循环神经网络，每个隐藏层有两个输出： output和state。
 *  权重  
    循环神经网络需要计算三个权重(w, b)，分别是\\(U,V,W\\)。  
    这三个权重是在隐藏层上共享的。

### 原文的例子 ###

原文中计划实现一个循环神经网络，用于发现自然语言句子中单词出现的模式，最终可以生成一些合理的句子。

*  数据来源  
    原文中，从网上下载了很多条句子（英文的）。
 *  数据的前期处理  
    首先，统计了所有单词（包括标点符号）。  
    取出最常见的7997单词，并且编号，每个单词有一个token。  
    设置了3个特殊的token：  
    UNKNOWN\_TOKEN：匹配没有在8000列表中的单词。  
    SENTENCE\_START: 表示句子开始。  
    SENTENCE\_END: 表示句子结束。
 *  输入和输出  
    输入x的维度是8000，意味着可以接受的句子长度最大是8000。  
    输出y的维度是8000，和x一一对应。  
    下面是一个句子构造后的实际例子：
    
    > x:  
    > SENTENCE\_START what are n't you understanding about this ? !  
    > \[0, 51, 27, 16, 10, 856, 53, 25, 34, 69\]  
    > y:  
    > what are n't you understanding about this ? ! SENTENCE\_END  
    > \[51, 27, 16, 10, 856, 53, 25, 34, 69, 1\]

**理解：y的每n位是x前n位的期望输出。**

每个输入\\(X\_t\\)（尽管有8000维），只有一个维度有值且为1，代表第\\(t\\)的单词的token的维度。  
比如：what的token是51。那么\\(X\_t\\)只有第51位为1，其它都是0。  
这个叫做one-hot vector。  
输出：每个token的可能性。

state的维度是100。

*  计算公式和维度  
    \\\[ s\_t = tanh(x\_tU + s\_\{t\_1\}W) \\\\ o\_t = softmax(s\_tV) \\\\ where \\\\ x\_t.dimension = 8000 \\\\ o\_t.dimension = 8000 \\\\ s\_t.dimension = 100 \\\\ U.dimension = 100 \* 8000 : x\_tU \\text\{ is a 100 dimension vector\} \\\\ W.dimension = 100 \* 100 : s\_\{t\_1\}W \\text\{ is a 100 dimension vector\} \\\\ V.dimension = 8000 \* 100 : s\_tV \\text\{ is a 8000 dimension vector\} \\\]
 *  初始化U,V,W  
    初始化很重要。跟激活函数（这里是tanh）有关。  
    U,V,W每个元素是一个位于区间\\(\\left \[ -\\sqrt\{n\}, \\sqrt\{n\} \\right \]\\)的随机数。\\(n\\)是输入数的长度。

### 循环神经网络训练流程 ###

Recurrent Neural Network - Training ProcessPrepare DataInitialize Model \{U, V, W\}Forward PropagationxCalculate Lossy'Back Propagation Trough TimeL(cross-entropy loss)Gradient Descent\{ΔL/ΔU, ΔL/ΔV, ΔL/ΔW\}iterate\{U, V, W\}Result: \{U, V, W\}

## 参照 ##

*  Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs