论文阅读|ResNetv2:Identity Mappings in Deep Residual Networks

你的名字 2022-12-27 02:30 154阅读 0赞

首先回顾ResNetv1， 这里把第一版本的ResNet叫做原始版本，原始版本中的网络结构由大量残差单元（“Residual Units”）组成，原文中的残差单元有两种(见图1)，一种是building block，一种是“bottleneck” building block，本文中以building block为例。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70]  
图1.原版本ResNet中提到的两种残差单元。左边是building block，右边是“bottleneck” building block。二者计算量接近，但是右边能取得更好性能。

这些残差单元，可由以下公式表示：  
 y l = h ( x l ) + F ( x l , W l ) , ( 1 ) y\_l = h(x\_l) + F(x\_l, W\_l) , (1) yl=h(xl)\+F(xl,Wl),(1) x l + 1 = f ( y l ) , ( 2 ) x\_\{l+1\} = f(y\_l),(2) xl\+1=f(yl),(2)  
xl和xl+1分别为第l个单元的输入和输出,  F F F代表残差函数， h ( x l ) = x l h(x\_l)=x\_l h(xl)=xl代表恒等映射（identity mapping ）, f f f代表ReLU。

该篇论文主要聚焦于构建一条贯通全网络的直通车道，使得前向传播和反向传播都能在这条通道上很好的传播信息，减少因网络层增加而带来的信息损失，也即梯度信息损失等，使得网络能够够造更深层的网络。

作者推导得出，如果 h ( x l ) h(x\_l) h(xl)和  f ( y l ) f(y\_l) f(yl)都是恒等映射，那么前向传播和反向传播的信号就能直接从一个单元传到任意一个其他单元。并且实验证明，但网络接近以上两个条件时网络更容易训练。  
下面是推理：  
当 h ( x l ) h(x\_l) h(xl)和  f ( y l ) f(y\_l) f(yl)都是恒等映射时，即 h ( x l ) = x l h(x\_l)=x\_l h(xl)=xl， x l + 1 = f ( y l ) ≡ y l x\_\{l+1\} =f(y\_l)≡ y\_l xl\+1=f(yl)≡yl。然后上面等式(1)就变成了下面的等式(3)。  
 x l + 1 = x l + F ( x l , W l ) , ( 3 ) x\_\{l+1\} = x\_l + F(x\_l, W\_l),(3) xl\+1=xl\+F(xl,Wl),(3)

再把 x l + 2 = x l + 1 + F ( x l + 1 , W l + 1 ) = x l + F ( x l , W l ) + F ( x l + 1 , W l + 1 ) x\_\{l+2\} = x\_\{l+1\}+ F(x\_\{l+1\} ,W\_\{l+1\})= x\_l + F(x\_l, W\_l)+F(x\_\{l+1\} ,W\_\{l+1\}) xl\+2=xl\+1\+F(xl\+1,Wl\+1)=xl\+F(xl,Wl)\+F(xl\+1,Wl\+1)等循环带入，得到：  
 x L = x l + ∑ i = l L − 1 F ( x i , W i ) , （ 4 ） x\_L=x\_l+\\sum\_\{i=l\}^\{L-1\}F(x\_i,W\_i),（4） xL=xl\+i=l∑L−1F(xi,Wi),（4）  
这样有两个好处：

1.  任何一个深层的残差单元 L L L就能被表示维一个任意的浅层残差单元 l l l加上一个残差函数 ∑ i = l L − 1 F \\begin\{matrix\}\\sum\_\{i=l\}^\{L-1\}F \\end\{matrix\} ∑i=lL−1F
2.  任何一层的残差单元L的特征变成之前所有层的残差函数之和，再加上 x 0 x\_0 x0，即 x L = x 0 + ∑ i = l L − 1 F ( x i , W i ) x\_L=x\_0+\\begin\{matrix\}\\sum\_\{i=l\}^\{L-1\}F (x\_i,W\_i)\\end\{matrix\} xL=x0\+∑i=lL−1F(xi,Wi)。这一点于普通网络形成对比，普通网络这里是等于前面所有网络的矩阵乘积相乘（忽略掉ReLU和BN）。  
    于是，我们可以说在前向传播方向，我们的直通车道是可行的。下面再说说另一个通道——反向传播方向。

由等式4能够得到一个很好的反向传播性质，这里将损失函数指代 ε \\varepsilon ε，  
 ∂ ε ∂ x l = ∂ ε ∂ x L ∂ x L ∂ x l = ∂ ε ∂ x L ( 1 + ∂ ∂ x l ∑ i = l L − 1 F ( x i , W i ) ) . ( 5 ) \\frac \{\\partial \\varepsilon\}\{\\partial x\_l\}= \\frac \{\\partial \\varepsilon\}\{\\partial x\_L\}\\frac \{\\partial x\_L\}\{\\partial x\_l\}=\\frac \{\\partial \\varepsilon\}\{\\partial x\_L\} \\left(1+ \\frac\{\\partial\}\{\\partial x\_l\} \\sum\_\{i=l\}^\{L-1\}F(x\_i,W\_i)\\right).(5) ∂xl∂ε=∂xL∂ε∂xl∂xL=∂xL∂ε(1\+∂xl∂i=l∑L−1F(xi,Wi)).(5)  
上面等式5将梯度 ∂ ε ∂ x l \\frac \{\\partial \\varepsilon\}\{\\partial x\_l\} ∂xl∂ε分解成两部分，一个部分是 ∂ ε ∂ x L \\frac \{\\partial \\varepsilon\}\{\\partial x\_L\} ∂xL∂ε，该部分确保了梯度信号能够直接从 L L L层传到 l l l层而不需要考虑残差函数；另一部分是 ∂ ε ∂ x L \\frac \{\\partial \\varepsilon\}\{\\partial x\_L\} ∂xL∂ε ∂ ∂ x l ∑ i = l L − 1 F ( x i , W i ) \\frac\{\\partial\}\{\\partial x\_l\} \\sum\_\{i=l\}^\{L-1\}F(x\_i,W\_i) ∂xl∂∑i=lL−1F(xi,Wi),这部分通过残差结构传播。即等式5表面反向传播通道，信号能够从深层 L L L传递到任意浅层 l l l。

等式4+等式5就证明了我们直通车道的前向传播方向和反向传播方向可行性，但是这要基于两个条件: h ( x l ) = x l h(x\_l) = x\_l h(xl)=xl； f f f是恒等映射。

条件一简单的让 h ( x l ) = x l h(x\_l) = x\_l h(xl)=xl即可，主要变换在条件二。为了满足条件二，修改了残差单元的结构（组成都一样，只是组成顺序不同），详见下图。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70 1]

图2.左图是原ResNet的残差单元结构，右边是该论文提出的残差单元结构，该组织结构是通过若干对比后得出的最优结果。

以上两个条件，将激活部分(BN和ReLU)放到了计算前即满足，即使得图中灰色路径变得更简洁。

#### 总结： ####

该版本主要就是推理了网络中信息如何在残差单元中更好传递，并调整了一个残差单元中BN和ReLu的顺序。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70]: /images/20221120/1bff09540dba4bb4adfd17cd16a9d277.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3lhbmdoYW8yMDE2MDcwMzAxMDE_size_16_color_FFFFFF_t_70 1]: /images/20221120/96dbf0b4355344278d0f70956c69a4e2.png