ResNet的细节之处

偏执的太偏执、 2022-12-18 09:58 247阅读 0赞

## 1、 RestNet网络 ##

### 1.1、 RestNet网络结构 ###

ResNet在2015年被提出，在ImageNet比赛classification任务上获得第一名，因为它“简单与实用”并存，之后很多方法都建立在ResNet50或者ResNet101的基础上完成的，检测，分割，识别等领域里得到广泛的应用。它使用了一种连接方式叫做“shortcut connection”，顾名思义，shortcut就是“抄近道”的意思，下面是这个resnet的网络结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70]  
它对每层的输入做一个reference（X）, 学习形成残差函数， 而不是学习一些没有reference（X）的函数。这种残差函数更容易优化，能使网络层数大大加深。在上图的残差块中它有二层，如下表达式，  
其中σ代表非线性函数ReLU。  
![在这里插入图片描述][20190731144237339.png]  
然后通过一个shortcut，和第2个ReLU，获得输出y。  
![在这里插入图片描述][20190731144304151.png]  
当需要对输入和输出维数进行变化时（如改变通道数目），可以在shortcut时对x做一个线性变换Ws，如下式。  
![在这里插入图片描述][20190731144342584.png]  
然而实验证明x已经足够了，不需要再搞个维度变换，除非需求是某个特定维度的输出，如是将通道数翻倍，如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 1]  
由上图，我们可以清楚的看到“实线”和“虚线”两种连接方式， 实线的Connection部分 **(第一个粉色矩形和第三个粉色矩形)** 都是执行3x3x64的卷积，他们的channel个数一致，所以采用计算方式：  
Y = F(x) + x，虚线的Connection部分 **(第一个绿色矩形和第三个绿色矩形)** 分别是3x3x64和3x3x128的卷积操作，他们的channel个数不同(64和128)，所以采用计算方式： y=F(x)+Wx 。其中W是卷积操作，用来调整x的channel维度。  
在计算机视觉里，网络的深度是实现网络好的效果的重要因素，输入特征的“等级”随增网络深度的加深而变高。然而在网络深度不断加深的情况下，梯度弥散/爆炸成为训练深层次的网络的障碍，导致导致网络无法收敛。虽然，归一初始化，各层输入归一化，使得可以收敛的网络的深度提升为原来的十倍。虽然网络收敛了，但网络却开始退化 **（增加网络层数却导致更大的误差）**， 如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 2]  
由上图可知，在一个浅层网络的基础上叠加y=x的层（称identity mappings，恒等映射），可以让网络随深度增加而不退化。这反映了多层非线性网络无法逼近恒等映射网络。  
但是，在深度学习中我们希望有更好性能的网络，而网络不退化则不是我们的目的。 在 RestNet网络中学习的残差函数是F(x) = H(x) - x, 这里如果F(x) = 0, 那么就是上面提到的恒等映射（H(x) = x）。事实上，RestNet是“shortcut connections”的在connections是在恒等映射下的特殊情况，它没有引入额外的参数和计算的复杂度。 假如优化目标函数是逼近一个恒等映射, 而不是0映射（F(x) = 0）或者说恒等映射，那么学习找到对恒等映射的扰动会比重新学习一个映射函数要容易。

### 1.2、残差块的两种结构 ###

这是文章里面的图，我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“，也是文中提到identity mapping，这张图也诠释了ResNet的真谛，当然大家可以放心，真正在使用的ResNet模块并不是这么单一，文章中就提出了两种方式：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 3]  
这两种结构分别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个“building block” 。其中右图又称为“bottleneck design”，目的就是为了降低参数的数目，实际中，考虑计算的成本，对残差块做了计算优化，即将两个3x3的卷积层替换为1x1 + 3x3 + 1x1，如右图所示。新结构中的中间3x3的卷积层首先在一个降维1x1卷积层下减少了计算，然后在另一个1x1的卷积层下做了还原，既保持了精度又减少了计算量。第一个1x1的卷积把256维channel降到64维，然后在最后通过1x1卷积恢复，整体上用的参数数目：1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632，而不使用bottleneck的话就是两个3x3x256的卷积，参数数目: 3x3x256x256x2 = 1179648，差了16.94倍。  
对于常规ResNet，可以用于34层或者更少的网络中，对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中，目的是减少计算和参数量。

### 1.3、ResNet50和ResNet101简单讲解 ###

这里把ResNet50和ResNet101特别提出，主要因为它们的使用率很高，所以需要做特别的说明。给出了它们具体的结构：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 4]  
上表是Resnet不同的结构，上表一共提出了5中深度的ResNet，分别是18，34，50，101和152，首先看表的最左侧，我们发现所有的网络都分成5部分，分别是：conv1，conv2\_x，conv3\_x，conv4\_x，conv5\_x，之后的其他论文也会专门用这个称呼指代ResNet50或者101的每部分。 例如：101-layer那列，101-layer指的是101层网络，首先有个输入7x7x64的卷积，然后经过3 + 4 + 23 + 3 = 33个building block，每个block为3层，所以有33 x 3 = 99层，最后有个fc层(用于分类)，所以1 + 99 + 1 = 101层，确实有101层网络； 注：101层网络仅仅指卷积或者全连接层，而激活层或者Pooling层并没有计算在内；我们关注50-layer和101-layer这两列，可以发现，它们唯一的不同在于conv4\_x，ResNet50有6个block，而ResNet101有23个block，两者之间差了17个block，也就是17 x 3 = 51层。

import torch
    import torch.nn as nn
    import torchvision
    import numpy as np
    
    print("PyTorch Version: ",torch.__version__)
    print("Torchvision Version: ",torchvision.__version__)
    
    __all__ = ['ResNet50', 'ResNet101','ResNet152']
    
    def Conv1(in_planes, places, stride=2):
        return nn.Sequential(
            nn.Conv2d(in_channels=in_planes,out_channels=places,kernel_size=7,stride=stride,padding=3, bias=False),
            nn.BatchNorm2d(places),
            nn.ReLU(inplace=True),
            nn.MaxPool2d(kernel_size=3, stride=2, padding=1)
        )
    
    class Bottleneck(nn.Module):
        def __init__(self,in_places,places, stride=1,downsampling=False, expansion = 4):
            super(Bottleneck,self).__init__()
            self.expansion = expansion
            self.downsampling = downsampling
    
            self.bottleneck = nn.Sequential(
                nn.Conv2d(in_channels=in_places,out_channels=places,kernel_size=1,stride=1, bias=False),
                nn.BatchNorm2d(places),
                nn.ReLU(inplace=True),
                nn.Conv2d(in_channels=places, out_channels=places, kernel_size=3, stride=stride, padding=1, bias=False),
                nn.BatchNorm2d(places),
                nn.ReLU(inplace=True),
                nn.Conv2d(in_channels=places, out_channels=places*self.expansion, kernel_size=1, stride=1, bias=False),
                nn.BatchNorm2d(places*self.expansion),
            )
    
            if self.downsampling:
                self.downsample = nn.Sequential(
                    nn.Conv2d(in_channels=in_places, out_channels=places*self.expansion, kernel_size=1, stride=stride, bias=False),
                    nn.BatchNorm2d(places*self.expansion)
                )
            self.relu = nn.ReLU(inplace=True)
        def forward(self, x):
            residual = x
            out = self.bottleneck(x)
    
            if self.downsampling:
                residual = self.downsample(x)
    
            out += residual
            out = self.relu(out)
            return out
    
    class ResNet(nn.Module):
        def __init__(self,blocks, num_classes=1000, expansion = 4):
            super(ResNet,self).__init__()
            self.expansion = expansion
    
            self.conv1 = Conv1(in_planes = 3, places= 64)
    
            self.layer1 = self.make_layer(in_places = 64, places= 64, block=blocks[0], stride=1)
            self.layer2 = self.make_layer(in_places = 256,places=128, block=blocks[1], stride=2)
            self.layer3 = self.make_layer(in_places=512,places=256, block=blocks[2], stride=2)
            self.layer4 = self.make_layer(in_places=1024,places=512, block=blocks[3], stride=2)
    
            self.avgpool = nn.AvgPool2d(7, stride=1)
            self.fc = nn.Linear(2048,num_classes)
    
            for m in self.modules():
                if isinstance(m, nn.Conv2d):
                    nn.init.kaiming_normal_(m.weight, mode='fan_out', nonlinearity='relu')
                elif isinstance(m, nn.BatchNorm2d):
                    nn.init.constant_(m.weight, 1)
                    nn.init.constant_(m.bias, 0)
    
        def make_layer(self, in_places, places, block, stride):
            layers = []
            layers.append(Bottleneck(in_places, places,stride, downsampling =True))
            for i in range(1, block):
                layers.append(Bottleneck(places*self.expansion, places))
    
            return nn.Sequential(*layers)
    
    
        def forward(self, x):
            x = self.conv1(x)
    
            x = self.layer1(x)
            x = self.layer2(x)
            x = self.layer3(x)
            x = self.layer4(x)
    
            x = self.avgpool(x)
            x = x.view(x.size(0), -1)
            x = self.fc(x)
            return x
    
    def ResNet50():
        return ResNet([3, 4, 6, 3])
    
    def ResNet101():
        return ResNet([3, 4, 23, 3])
    
    def ResNet152():
        return ResNet([3, 8, 36, 3])
    
    
    if __name__=='__main__':
        #model = torchvision.models.resnet50()
        model = ResNet50()
        print(model)
    
        input = torch.randn(1, 3, 224, 224)
        out = model(input)
        print(out.shape)

相关博客参考：

[https://blog.csdn.net/csdnldp/article/details/78313087][https_blog.csdn.net_csdnldp_article_details_78313087]

## ResNet类（仅展示代码核心部分） ##

**几个关键点：**

1.在残差结构之前，先对原始224 x 224的图片处理，在经过7 x 7的大卷积核、BN、ReLU、最大池化之后得到56 x 56 x 64的feature map  
2.从layer1、layer2、layer3、layer4的定义可以看出，第一个stage不会减小feature map，其余都会在stage的第一层用步长2的3 x 3卷积进行feature map长和宽减半  
3.\_make\_layer函数中downsample对残差结构的输入进行升维，直接1 x 1卷积再加上BN即可，后面BasicBlock类和Bottleneck类用得到  
4.最后的池化层使用的是自适应平均池化，而非论文中的全局平均池化

## **BasicBlock** ##

expansion是残差结构中输出维度是输入维度的多少倍，BasicBlock没有升维，所以expansion = 1  
残差结构是在求和之后才经过ReLU层

## **bottleneck** ##

注意Res18、Res34用的是BasicBlock，其余用的是Bottleneck  
expansion = 4，因为Bottleneck中每个残差结构输出维度都是输入维度的4倍

###  ###

### **代码详解** ###

*注意Res18、Res34用的是BasicBlock，其余用的是Bottleneck*  
这里有一个对block代码的详解（超级好懂）：[https://zhuanlan.zhihu.com/p/77899090][https_zhuanlan.zhihu.com_p_77899090]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70]: /images/20221122/5d6655d8739b4582948c390ee6c22f03.png
[20190731144237339.png]: /images/20221122/83a30d1e5a3640dfba27464446654af8.png
[20190731144304151.png]: /images/20221122/f4deb2bbe21b4e5ba57379abb3e25bd2.png
[20190731144342584.png]: /images/20221122/8ebc0549354446fdbaadcc4bf7760780.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 1]: /images/20221122/9a4f04b1d3cf43a495e1a707ff6fcf68.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 2]: /images/20221122/0a87895f43ac401ea31a4b8125654510.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 3]: /images/20221122/b8f8ed8fffe046a3a43ced7c7defc720.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxNzYwNzY3_size_16_color_FFFFFF_t_70 4]: /images/20221122/e85d8311db8e46fb8d07caa3de01c10d.png
[https_blog.csdn.net_csdnldp_article_details_78313087]: https://blog.csdn.net/csdnldp/article/details/78313087
[https_zhuanlan.zhihu.com_p_77899090]: https://zhuanlan.zhihu.com/p/77899090