《ESPNet v1：Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation》论文笔记

迈不过友情╰ 2022-01-10 03:45 332阅读 0赞

代码地址：[ESPNet v1][]

# 1. 概述 #

> 导读：这篇文章提出了在有限资源环境下对高分辨率图像进行快速高效分割的卷积网络ESPNet。ESPNet是基于一个新型的卷积模块（Efficient Spatial Pyramid，ESP），该模块高效且强大。在（标准？）GPU上比PSPNet快22倍，体积却小了180倍，在GPU上可以飚到112FPS。在VOC-2012数据集上达到了63.01的IoU，**对效果要求比较高的可以考虑换个方法了。**

ESP模块基于卷积因式分解准则将标准的卷积操作分解为两步：pointwise convolutions与spatial pyramid of dilated convolutions，其过程如下图所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]

*  第一步：使用pointwise convolutions减少了计算量；
 *  第二步：使用spatial pyramid of dilated convolutions使用不同的膨胀系数去采样特征，增大网络的感受野。这样的结构相比其他的因式分解的方法，如Inception与ResNet，更加高效。
 *  第三步：（主要为HFF特征融合部分）将分组之后卷积得到的结果在相邻组间使用Sum方式融合，之后再将这K个特征Concat起来，再与原始输入Sum得到最后的模块输出。其结构见下图的（b）图；  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]

# 2. 方法设计 #

这篇文章的方法主要是围绕提出的ESP模块展开的，这里首先对ESP模块进行分析。

## 2.1 ESP module ##

输入的特征图首先经过mobilenet中的depthwise卷积将高维度的特征映射到低维度上。之后空间膨胀卷积金字塔在不同的分组（每个组的特征数量： d = N K d=\\frac\{N\}\{K\} d=KN）上使用不同感受野的膨胀卷积，膨胀卷积在不同组上感受野为 \[ ( n − 1 ) ⋅ 2 K − 1 + 1 \] 2 \[(n-1)\\cdot 2^\{K-1\}+1\]^2 \[(n−1)⋅2K−1\+1\]2。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]  
在spatial pyramid of dilated步骤中使用不同膨胀系数的卷积运算是会产生网格效应的，如图2（b）第二列结果图，为了解决这个问题文中引入了HFF特征融合步骤，经过这个模块处理之后得到的结果如图2（b）中第三列所示。

ESP模块与当前的轻量级网络的对比：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]

## 2.2 ESP网络结构 ##

文章中提出了如下四种ESP的网络结构，其包含了ESPNet的4个变体结构，如图4所示：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]

*  1）ESPNet-A：使用的是标准的串联式网络结构，输出的预测结果为原始图的1/8；
 *  2）ESPNet-B：在A的基础上加入shortcut连接，预测结果也为原始图的1/8；
 *  3）ESPNet-C：在B的基础上在不同stride上添加原始图的信息，使得网络中的信息更加丰富，预测结果也为原始图的1/8；
 *  4）ESPNet-D，在C结构的基础上添加了decoder部分，使用不同stride的信息不断校准预测的结果；

它们的性能比较：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]

# 3. 实验结果 #

VOC 2012数据集上：  
![在这里插入图片描述][20190620234826444.png]  
CityScapes数据集上：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]

[ESPNet v1]: https://github.com/sacmehta/ESPNet
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70]: /images/20220109/f3754ce0c3e04df083ea7c92d8e19ce0.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 1]: /images/20220109/8547cabbfa1c4e0ab474d6a11733f578.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 2]: /images/20220109/17572493dfaf47698f93f16546306143.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 3]: /images/20220109/6e4110d8bd904218a6ca85706a21af2b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 4]: /images/20220109/3be668add8a64078bfc58a022bf61075.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 5]: /images/20220109/00ee5ccd27124a12a38e8fa3973e2416.png
[20190620234826444.png]: /images/20220109/8e3e43a60a824bc589446645973aaf7b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk_size_16_color_FFFFFF_t_70 6]: /images/20220109/cf273aecb43047dea932ffbd7d2b487a.png