一文了解语义分割网络！

以你之姓@ 2022-11-04 14:24 343阅读 0赞

本文我将讨论如何使用卷积神经网络来完成语义分割任务。语义分割是一个计算机视觉任务，在这项任务中我们根据显示的内容来标记图像的特定区域。

更具体的说，语义分割的目的是用所表示的内容的类别来为图像中每个图像打标签。因为我们是对图像中每个像素打标签，这类任务通常被称为**密集预测**。

![b2e4af1ee3a2d5ff127df71d80635549.png][]

\*\*需要注意的一点是，我们并不会分离同一个类别的不同实例，我们仅仅关注每个像素的类别。\*\*换句话说，如果在图像中有两个相同类别的对象，分割图不会将它们区分为单独的对象。不同于语义分割，实例分割可以做到区分同一类别的不同对象。

分割模型可以应用到很多任务场景中，包括：

*  自动驾驶
    
    我们需要给汽车装备必要的感知能力，使得汽车能够理解外部的环境，已达到在公路上正常行驶的效果。如图所示，展示了一种实时的自主驾驶道路分割场景。
    
    ![image-20210302233845572][]
 *  医疗图像诊断
    
    机器可以增加放射科医生的诊断能力，极大降低诊断测试所需要的时间。如图所示，展示了胸部x光片将心脏（红色）、肺（绿色）和锁骨（蓝色）分割开来。
    
    ![ca3f531c8e777a6745ced4d6dfd8d353.png][]

## 任务描述 ##

简单地说，我们的目的是输入一个RGB图像( h e i g t h ∗ w i d t h ∗ 3 heigth \* width \* 3 heigth∗width∗3)或者一个灰度图像( h e i g h t ∗ w i d t h ∗ 1 height \* width \* 1 height∗width∗1)，并输出一个分割图( h e i g h t ∗ w i d t h ∗ 1 height \* width \* 1 height∗width∗1)，图中每个像素包含一个用数字表示的类标签。

![055d5643bad9b68d4684f4fe91715e00.png][]

**注意：** 为了视觉清晰度，我已标记了一个低分辨率的预测图。实际上，分割标签的分辨率与输入图像的分辨率是匹配的。

与处理标准分类值类似，我们将通过对类标签采用独热编码的方式来创建输出目标。在这个输出目标上，实质上为每个可能的类别创建了一个输出通道。

![bcc1410fa3b4ee48c3c322a57daa42ed.png][]

通过获取每个通道方向上像素向量的argmax，可以将预测结果( h e i g t h ∗ w i d t h ∗ n u m \_ c l a s s e s heigth \* width \* num\\\_classes heigth∗width∗num\_classes)折叠成一个分割图( h e i g t h ∗ w i d t h ∗ 1 heigth \* width \* 1 heigth∗width∗1)。

我们可以通过将结果覆盖到输入图像上，很容易地检测它。

![6d5bbc3e317580a30b8c1798f6b3b6cb.png][]

当我们覆盖目标的单个通道时，我们称之为掩膜（mask）。它照亮图像中存在特定类别的区域。

## 构造一个网络结构 ##

对于我们针对语义分割任务所要构造的网络结构，一个天真的想法是简单地堆叠一些卷积层（通过padding保持输入输出尺寸大小不变），然后输出一个最终的语义分割图。这种方法通过特征映射的连续变换，直接学习从输入图像到相应分割的映射。**但是，在整个网络结构上保持完整的分辨率的计算代价非常高。** 如下图所示，详情在公号后台回复【cs231n分割附件】查看。

![3c2bc30af409d7d19f52fbc47e4a2141.png][]

回想一下，在深度卷积网络中，较浅的网络层倾向于学习低级概念，较深的网络层学习到更高级的特征映射。为了保持可表达性，我们通常随着网络的深入而**增加特征映射（通道）的数量**。

这对于**图像分类任务**来说并不一定是一个问题，因为对于这个任务，我们只关心图像包含什么（而不是它位于何处）。因此，我们可以通过合并或跨步卷积（即压缩空间分辨率）周期性地降低特征图的采样来减轻计算负担。然而，\*\*对于图像分割任务，\*\*我们希望我们的模型能够产生一个全分辨率的语义预测。

那么对于图像分割任务，**一个主流的方法是遵循编码器-解码器结构**。在这种结构下，我们对输入图像的空间分辨率进行降采样，开发出低分辨率的特征映射，其能够高效地区分出物体的类别。然后上采样特征表示，形成一个全分辨率的分割图。

![ea38c9dbf73976b9190885e9ed2020c2.png][]

## 上采样的方法 ##

我们可以采用几种方法来对一个特征图的分辨率进行上采样。我们知道，在 下采样阶段，我们采用池化操作（pooling）来对一个局部区域的数据进行处理，得到一个数值，通常处理的方法有最大值池化，以及均值池化。自然地，我们可以采用反池化(unpooling) 操作来将单个数值分配到更高的分辨率来实现上采样。

![9755da45a8288b0694d82e382118740b.png][]

然而，对于上采样操作最主流的方法是**转置卷积**，它允许我们得到一个**可学习的上采样**方法。

![285cc193e7edd602afef868466661d92.png][]

一个典型的卷积运算将滤波器视图中当前值的点积并为相应的输出位置产生一个值，而转置卷积运算实际上是相反的。对于转置卷积，我们从低分辨率的特征映射中取一个值，并将滤波器中的所有权值乘以这个值，将这些加权值投影到输出特征映射中。

![18b1f28795e530b0dab5d3b81b1df5dd.png][]

对于在输出特征映射中产生重叠的过滤器大小(如下面的例子所示，带有跨度2的3x3过滤器) ，重叠值被简单地添加到一起。不幸的是，这往往会在输出中产生棋盘式构件，因此最好确保过滤器大小不会产生重叠。

![10a5d9322e78c52a43364fb92eca165d.gif][]

## 全卷积网络 ##

在2014年11月由 [Long et al.][] 提出了使用全卷积网络训练的端到端、像素到像素的的语义分割方法。论文作者提出将已有的、研究充分的图像分类模型（如AlexNet, VGG）进行改进，并应用到语义分割网络的编码器模块中，附加一个带转置卷积层的解码器模块，实现对粗糙特征映射进行上采样，得到全分辨率的分割图。

![276adfcfa1001d9164daa910b01bddea.png][]

全卷积网络，如下图所示，根据像素级的交叉熵损失进行训练。

![39cf71b471c5ab683e699ee7af78983c.png][]

然而，由于编码器模块将输入的分辨率降低了32倍，解码器模块难以产生细粒度分割（如下所示）。

![7cc5f9a159c8651a5699fc5f903685cf.png][]

论文的作者在这一点上做出了精彩的评论：

> 语义分割面临着语义和位置之间的内在张力：全局信息解决\*\*“是什么”**，而局部信息解决**“在哪里”\*\*。…将细层和粗层结合起来，可以让模型做出符合整体结构的局部预测。

未完待续…

**写在最后的话**

欢迎关注公众号【CV面试宝典】，定期原创技术分享。

## 原文链接 ##

https://www.jeremyjordan.me/semantic-segmentation

## 参考文献 ##

http://cs231n.stanford.edu/slides/2017/cs231n\_2017\_lecture11.pdf

Fully Convolutional Networks for Semantic Segmentation

https://github.com/vdumoulin/conv\_arithmetic

[b2e4af1ee3a2d5ff127df71d80635549.png]: /images/20221023/be4a968079db4e14b17c02268d9d3bd1.png
[image-20210302233845572]: /images/20221023/15aaa76bb02b4620842b02bbd6be8cb2.png
[ca3f531c8e777a6745ced4d6dfd8d353.png]: /images/20221023/017020614f9d4f0d9aae552749fc7acd.png
[055d5643bad9b68d4684f4fe91715e00.png]: /images/20221023/861fde2d66334adbb3f0cefd05acb67b.png
[bcc1410fa3b4ee48c3c322a57daa42ed.png]: /images/20221023/0a9d4444552f4d2a9bd44e104f594bb0.png
[6d5bbc3e317580a30b8c1798f6b3b6cb.png]: /images/20221023/b6abcfb32edc4dc6aafbfc324ba37ab8.png
[3c2bc30af409d7d19f52fbc47e4a2141.png]: /images/20221023/09420c922ba943f08556fc1b0317545f.png
[ea38c9dbf73976b9190885e9ed2020c2.png]: /images/20221023/0fdedcd8289647cf8331634e85fc36ea.png
[9755da45a8288b0694d82e382118740b.png]: /images/20221023/e423380adc0a4ceba3ffecf9248548f2.png
[285cc193e7edd602afef868466661d92.png]: /images/20221023/470f54e01d0047edbc66c8d8187d70dc.png
[18b1f28795e530b0dab5d3b81b1df5dd.png]: /images/20221023/eede1c82e0c94824a40c777df0f2b22a.png
[10a5d9322e78c52a43364fb92eca165d.gif]: /images/20221023/fb93f0780c134072be9f8bb8e78e14fd.png
[Long et al.]: https://arxiv.org/abs/1411.4038
[276adfcfa1001d9164daa910b01bddea.png]: /images/20221023/aa836fce641642bda856ebd5005f9e1d.png
[39cf71b471c5ab683e699ee7af78983c.png]: /images/20221023/550545a2929a4f32813bfcc4ca1535ce.png
[7cc5f9a159c8651a5699fc5f903685cf.png]: /images/20221023/f42e1f4df234431888d8cf452e6417c5.png