循环神经网络（学习笔记）

╰+攻爆jí腚メ 2023-03-13 02:59 84阅读 0赞

简单的是语言的概率模型，根据前面的单词推断下一个单词。  
 p ( w o r d i ∣ w o r d 1 , . . . , w o r d i − 1 ) p(word\_i|word\_1,...,word\_\{i-1\}) p(wordi∣word1,...,wordi−1)

### 2-gram LM Model ###

两个词作为输入向量， w i ∣ w i − 1 , w i − 2   p i ( w i ∣ w i − 1 , w i − 2 ) w\_i|w\_\{i-1\}, w\_\{i-2\}~ p\_i(w\_i|w\_\{i-1\},w\_\{i-2\}) wi∣wi−1,wi−2 pi(wi∣wi−1,wi−2)  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]  
同样会出现参数的爆炸，序列的长度决定MLP的长度。很难扩展到long-term的模型。MLP网络中参数不是共享的，但是在RNN网络中参数是共享的。

### RNN ###

RNN时间上的局部依赖，对比CNN网络中空间的局部依赖。  
 p ( x 1 , . . . , x T ) = ∏ t = 1 T p ( x t ∣ x 1 , . . . x t − 1 ) = ∏ t = 1 T g ( s t − 2 , x t − 1 ) p(x\_1,...,x\_T) = \\prod\_\{t=1\}^\{T\}p(x\_t|x\_1,...x\_\{t-1\})=\\prod\_\{t=1\}^Tg(s\_\{t-2\}, x\_\{t-1\}) p(x1,...,xT)=∏t=1Tp(xt∣x1,...xt−1)=∏t=1Tg(st−2,xt−1)  
但是上面的联合概率分布的计算的复杂度是( d T d^T dT).  
一阶马尔可夫：T=2

*  假设1: s t − 2 s\_\{t-2\} st−2代表将前面的概率编码到隐变量中，这就是循环神经网络的**局部依赖假设**。
 *  假设2: 参数共享  
     p ( x t 1 + τ , . . . , x t n + τ ) = P ( x t 1 , . . . , x t n ) p(x\_\{t\_1+\\tau\},..., x\_\{t\_n + \\tau\}) = P(x\_\{t\_1\},..., x\_\{t\_n\}) p(xt1\+τ,...,xtn\+τ)=P(xt1,...,xtn)时间平移的平稳性。平稳性假设是需要的，不然RNN无法建模，如果没有平稳性假设，变量的数据无法对应到网络的输入。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 1]

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 2]

重要的公式：  
 y t = V h t y\_t = Vh\_t yt=Vht这里是线性的变化，也可以在分类的时候使用softmax。

h t = f W ( h t − 1 , x t ) − > h t = t a n h ( W h t − 1 + U x t ) h\_t = f\_W(h\_\{t-1\}, x\_t) -> h\_t = tanh(Wh\_\{t-1\}+Ux\_t) ht=fW(ht−1,xt)−>ht=tanh(Wht−1\+Uxt) 这里的+ 代表concat 操作。

深度循环神经网络  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 3]  
 y t ^ = s o f t m a x ( V h t l ) \\hat\{y\_t\} = softmax(Vh\_t^l) yt^=softmax(Vhtl)

时间上的循环 h t 1 = t a n h ( W 1 h t − 1 1 + U 1 x t ) h\_t^1 = tanh(W\_1h\_\{t-1\}^1+U\_1x\_t) ht1=tanh(W1ht−11\+U1xt)

层次之间的循环  h t l = t a n h ( W l h t − 1 + U l h t l − 1 ) h\_t^l = tanh(W\_lh\_\{t-1\}+U\_lh\_t^\{l-1\}) htl=tanh(Wlht−1\+Ulhtl−1)

分类问题：损失函数（cross-entroy）:  
 L = − 1 T ∑ t = 1 T ∑ c = 1 C y t , c l o g ( y t , c ^ ) L=-\\frac\{1\}\{T\}\\sum\_\{t=1\}^T\\sum\_\{c=1\}^Cy\_\{t,c\}log(\\hat\{y\_\{t,c\}\}) L=−T1∑t=1T∑c=1Cyt,clog(yt,c^)

回归问题采用：L1, L2损失函数。  
L1损失函数  L = ∑ i = 1 n ( Y i − f ( y i ) ) L=\\sum\_\{i=1\}^n(Y\_i - f(y\_i)) L=∑i=1n(Yi−f(yi))

L2损失函数： L = ∑ i = 1 n ( Y i − f ( y i ) ) 2 L=\\sum\_\{i=1\}^n(Y\_i - f(y\_i))^2 L=∑i=1n(Yi−f(yi))2

### 双向循环网络（Bidirectional RNN） ###

Bert等大规模的循环网络仍然有采用双向循环网络。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 4]

### 优点 ###

1.循环网络在时序依赖上是无界的。  
2.历史的信息编码到固定的长度。  
3.参数打小不随着序列的长度变化。

### 缺点 ###

很难建模长时间的依赖关系。例如时间上相邻很远的输入之间的关系。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70]: /images/20230312/a6e0ec48b74544c4aba2a41414650277.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 1]: /images/20230312/7101aa3139294163ab58fd62219e755b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 2]: /images/20230312/31b1565002c142aca355c20d993210f0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 3]: /images/20230312/882598537652460eaa2c57423c3a1b65.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1RIX05VTQ_size_16_color_FFFFFF_t_70 4]: /images/20230312/9fcb855b1abc46cfbe2b10bc0a132dc9.png