SSD:SingleShot MultiBox Detector

绝地灬酷狼 2022-12-16 09:23 135阅读 0赞

http://noahsnail.com/2017/12/11/2017-12-11-Single%20Shot%20Multi%20Box%20Detector论文翻译——中英文对照/  
https://arxiv.org/abs/1512.02325  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]  
其中38*38代表把原图像划分成38*38个网格，19*19代表把原图像划分成19*19个网格，10*10代表把原图像划分成10*10个网格，5*5代表把原图像划分成5*5个网格，3*3代表把原图像划分成3*3个网格，1*1代表把原图像划分成1*1个网格  
这里的VGG网络相比普通的VGG网络有一定的修改，主要修改的地方就是：  
1、将VGG16的FC6和FC7层转化为卷积层。  
2、去掉所有的Dropout层和FC8层；  
3、新增了Conv6、Conv7、Conv8、Conv9。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]  
如图所示，输入的图片经过了改进的VGG网络（Conv1->fc7）和几个另加的卷积层（Conv6->Conv9），进行特征提取：  
a、输入一张图片后，被resize到300x300的shape  
b、conv1，经过两次\[3,3\]卷积网络，输出的特征层为64，输出为(300,300,64)，再2X2最大池化，输出net为(150,150,64)。  
c、conv2，经过两次\[3,3\]卷积网络，输出的特征层为128，输出net为(150,150,128)，再2X2最大池化，输出net为(75,75,128)。  
d、conv3，经过三次\[3,3\]卷积网络，输出的特征层为256，输出net为(75,75,256)，再2X2最大池化，输出net为(38,38,256)。  
e、conv4，经过三次\[3,3\]卷积网络，输出的特征层为512，输出net为(38,38,512)，再2X2最大池化，输出net为(19,19,512)。  
f、conv5，经过三次\[3,3\]卷积网络，输出的特征层为512，输出net为(19,19,512)，再3X3最大池化，输出net为(19,19,512)。  
g、利用卷积代替全连接层，进行了一次\[3,3\]卷积网络和一次\[1,1\]卷积网络，输出的特征层为1024，因此输出的net为(19,19,1024)。（从这里往前都是VGG的结构）  
h、conv6，经过一次\[1,1\]卷积网络，调整通道数，一次步长为2的\[3,3\]卷积网络，输出的特征层为512，因此输出的net为(10,10,512)。  
i、conv7，经过一次\[1,1\]卷积网络，调整通道数，一次步长为2的\[3,3\]卷积网络，输出的特征层为256，因此输出的net为(5,5,256)。  
j、conv8，经过一次\[1,1\]卷积网络，调整通道数，一次padding为valid的\[3,3\]卷积网络，输出的特征层为256，因此输出的net为(3,3,256)。  
k、conv9，经过一次\[1,1\]卷积网络，调整通道数，一次padding为valid的\[3,3\]卷积网络，输出的特征层为256，因此输出的net为(1,1,256)。

### 摘要 ###

我们提出了一种使用单个深度神经网络来检测图像中的目标的方法。我们的方法命名为SSD，将边界框的输出空间离散化为不同长宽比的一组默认框和并缩放每个特征映射的位置。在预测时，网络会在每个默认框中为每个目标类别的出现生成分数，并对框进行调整以更好地匹配目标形状。此外，网络还结合了不同分辨率的多个特征映射的预测，自然地处理各种尺寸的目标。相对于需要目标提出的方法，SSD非常简单，因为它完全消除了提出生成和随后的像素或特征重新采样阶段，并将所有计算封装到单个网络中。这使得SSD易于训练和直接集成到需要检测组件的系统中。PASCAL VOC，COCO和ILSVRC数据集上的实验结果证实，SSD对于利用额外的目标提出步骤的方法具有竞争性的准确性，并且速度更快，同时为训练和推断提供了统一的框架。对于300×300的输入，SSD在VOC2007测试中以59FPS的速度在Nvidia Titan X上达到74.3%的mAP，对于512×512的输入，SSD达到了76.9%的mAP，优于参照的最先进的Faster R-CNN模型。与其他单阶段方法相比，即使输入图像尺寸较小，SSD也具有更高的精度。代码获取：https://github.com/weiliu89/caffe/tree/ssd。

### 1. 引言 ###

目前最先进的目标检测系统是以下方法的变种：假设边界框，每个框重采样像素或特征，并应用一个高质量的分类器。自从选择性搜索\[1\]通过在PASCAL VOC，COCO和ILSVRC上所有基于Faster R-CNN\[2\]的检测都取得了当前领先的结果（尽管具有更深的特征如\[3\]），这种流程在检测基准数据上流行开来。尽管这些方法准确，但对于嵌入式系统而言，这些方法的计算量过大，即使是高端硬件，对于实时应用而言也太慢。通常，这些方法的检测速度是以每帧秒（SPF）度量，甚至最快的高精度检测器，Faster R-CNN，仅以每秒7帧（FPS）的速度运行。已经有很多尝试通过处理检测流程中的每个阶段来构建更快的检测器（参见第4节中的相关工作），但是到目前为止，显著提高的速度仅以显著降低的检测精度为代价。  
本文提出了第一个基于深度网络的目标检测器，它不对边界框假设的像素或特征进行重采样，并且与其它方法有一样精确度。这对高精度检测在速度上有显著提高（在VOC2007测试中，59FPS和74.3%的mAP，与Faster R-CNN 7FPS和73.2%的mAP或者YOLO 45 FPS和 63.4%的mAP相比）。速度的根本改进来自消除边界框提出和随后的像素或特征重采样阶段。我们并不是第一个这样做的人（查阅\[4,5\]），但是通过增加一系列改进，我们设法比以前的尝试显著提高了准确性。我们的改进包括使用小型卷积滤波器来预测边界框位置中的目标类别和偏移量，使用不同长宽比检测的单独预测器（滤波器），并将这些滤波器应用于网络后期的多个特征映射中，以执行多尺度检测。通过这些修改——特别是使用多层进行不同尺度的预测——我们可以使用相对较低的分辨率输入实现高精度，进一步提高检测速度。虽然这些贡献可能单独看起来很小，但是我们注意到由此产生的系统将PASCAL VOC实时检测的准确度从YOLO的63.4%的mAP提高到我们的SSD的74.3%的mAP。相比于最近备受瞩目的残差网络方面的工作\[3\]，在检测精度上这是相对更大的提高。而且，显著提高的高质量检测速度可以扩大计算机视觉使用的设置范围。  
我们总结我们的贡献如下：  
我们引入了SSD，这是一种针对多个类别的单次检测器，比先前的先进的单次检测器（YOLO）更快，并且准确得多，事实上，与执行显式区域提出和池化的更慢的技术具有相同的精度（包括Faster R-CNN）。 SSD的核心是预测固定的一系列默认边界框的类别分数和边界框偏移，使用更小的卷积滤波器应用到特征映射上。 为了实现高检测精度，我们根据不同尺度的特征映射生成不同尺度的预测，并通过纵横比明确分开预测。 这些设计功能使得即使在低分辨率输入图像上也能实现简单的端到端训练和高精度，从而进一步提高速度与精度之间的权衡。 实验包括在PASCAL VOC，COCO和ILSVRC上评估具有不同输入大小的模型的时间和精度分析，并与最近的一系列最新方法进行比较。

### 2. 单次检测器(SSD) ###

本节描述我们提出的SSD检测框架（2.1节）和相关的训练方法（2.2节）。之后，2.3节介绍了数据集特有的模型细节和实验结果。

##### 2.1 模型 #####

SSD方法基于前馈卷积网络，该网络产生固定大小的边界框集合，并对这些边界框中存在的目标类别实例进行评分，然后进行非极大值抑制步骤来产生最终的检测结果。早期的网络层基于用于高质量图像分类的标准架构（在任何分类层之前被截断），我们将其称为基础网络。然后，我们将辅助结构添加到网络中以产生具有以下关键特征的检测：  
**用于检测的多尺度特征映射。** 我们将卷积特征层添加到截取的基础网络的末端。这些层在尺寸上逐渐减小，并允许在多个尺度上对检测结果进行预测。用于预测检测的卷积模型对于每个特征层都是不同的（查阅Overfeat\[4\]和YOLO\[5\]在单尺度特征映射上的操作）。  
**用于检测的卷积预测器。** 每个添加的特征层（或者任选的来自基础网络的现有特征层）可以使用一组卷积滤波器产生固定的检测预测集合。这些在图2中的SSD网络架构的上部指出。对于具有p通道的大小为m×n 的特征层，潜在检测的预测参数的基本元素是3×3×p的小核得到某个类别的分数，或者相对于默认框坐标的形状偏移。在应用卷积核的m×n的每个位置，它会产生一个输出值。边界框偏移输出值是相对每个特征映射位置的相对默认框位置来度量的（查阅YOLO\[5\]的架构，该步骤使用中间全连接层而不是卷积滤波器）。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]  
图2：两个单次检测模型的比较：SSD和YOLO\[5\]。我们的SSD模型在基础网络的末端添加了几个特征层，它预测了不同尺度和长宽比的默认边界框的偏移量及其相关的置信度。300×300输入尺寸的SSD在VOC2007 test上的准确度上明显优于448×448的YOLO的准确度，同时也提高了速度。  
**默认边界框和长宽比。** 对于网络顶部的多个特征映射，我们将一组默认边界框与每个特征映射单元相关联。默认边界框以卷积的方式平铺特征映射，以便每个边界框相对于其对应单元的位置是固定的。在每个特征映射单元中，我们预测单元中相对于默认边界框形状的偏移量，以及指出每个边界框中存在的每个类别实例的类别分数。具体而言，对于给定位置处的k个边界框中的每一个，我们计算c个类别分数和相对于原始默认边界框形状的4个偏移量。这导致在特征映射中的每个位置周围应用总共 (c+4)k个滤波器，对于m×n的特征映射取得 (c+4)kmn个输出。有关默认边界框的说明，请参见图1。我们的默认边界框与Faster R-CNN\[2\]中使用的锚边界框相似，但是我们将它们应用到不同分辨率的几个特征映射上。在几个特征映射中允许不同的默认边界框形状让我们有效地离散可能的输出框形状的空间。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]  
图1：SSD框架。（a）在训练期间，SSD仅需要每个目标的输入图像和真实边界框。以卷积方式，我们评估具有不同尺度（例如（b）和（c）中的8×8和4×4）的几个特征映射中每个位置处不同长宽比的默认框的小集合（例如4个）。对于每个默认边界框，我们预测所有目标类别(c1,c2,…cp)的形状偏移量和置信度。在训练时，我们首先将这些默认边界框与实际的边界框进行匹配。例如，我们已经与猫匹配两个默认边界框，与狗匹配了一个，这被视为积极的，其余的是消极的。模型损失是定位损失（例如，Smooth L1\[6\]）和置信度损失（例如Softmax）之间的加权和。

##### 2.2 训练 #####

训练SSD和训练使用区域提出的典型检测器之间的关键区别在于，需要将真实信息分配给固定的检测器输出集合中的特定输出。在YOLO\[5\]的训练中、Faster R-CNN\[2\]和MultiBox\[7\]的区域提出阶段，一些版本也需要这样的操作。一旦确定了这个分配，损失函数和反向传播就可以应用端到端了。训练也涉及选择默认边界框集合和缩放进行检测，以及难例挖掘和数据增强策略。  
**匹配策略。** 在训练过程中，我们需要确定哪些默认边界框对应实际边界框的检测，并相应地训练网络。对于每个实际边界框，我们从默认边界框中选择，这些框会在位置，长宽比和尺度上变化。我们首先将每个实际边界框与具有最好的Jaccard重叠（如MultiBox\[7\]）的边界框相匹配。与MultiBox不同的是，我们将默认边界框匹配到Jaccard重叠高于阈值（0.5）的任何实际边界框。这简化了学习问题，允许网络为多个重叠的默认边界框预测高分，而不是要求它只挑选具有最大重叠的一个边界框。  
注：Jaccard重叠即IoU。  
**训练目标函数。** SSD训练目标函数来自于MultiBox目标\[7,8\]，但扩展到处理多个目标类别。设 x i j p = \{ 1 , 0 \} x^p\_\{ij\}=\\\{1,0\\\} xijp=\{ 1,0\}是第i个默认边界框匹配到类别p的第j个实际边界框的指示器。在上面的匹配策略中，我们有 ∑ i x i j p ≥ 1 ∑\_ix^p\_\{ij\}≥1 ∑ixijp≥1。总体目标损失函数是定位损失（loc）和置信度损失（conf）的加权和：  
![在这里插入图片描述][2020101921133847.png_pic_center]  
其中N是匹配的默认边界框的数量。如果N=0，则将损失设为0。定位损失是预测框(l)与真实框(g)参数之间的Smooth L1损失\[6\]。类似于Faster R-CNN\[2\]，我们回归默认边界框(d)的中心偏移量(cx,cy)和其宽度(w)、高度(h)的偏移量。  
![在这里插入图片描述][20201019211415161.png_pic_center]  
置信度损失是在多类别置信度©上的softmax损失。  
![在这里插入图片描述][20201019211437306.png_pic_center]  
通过交叉验证权重项α设为1。  
**为默认边界框选择尺度和长宽比。** 为了处理不同的目标尺度，一些方法\[4,9\]建议处理不同尺寸的图像，然后将结果合并。然而，通过利用单个网络中几个不同层的特征映射进行预测，我们可以模拟相同的效果，同时还可以跨所有目标尺度共享参数。以前的工作\[10,11\]已经表明，使用低层的特征映射可以提高语义分割的质量，因为低层会捕获输入目标的更多细节。同样，\[12\]表明，从特征映射上添加全局上下文池化可以有助于平滑分割结果。受这些方法的启发，我们使用较低和较高的特征映射进行检测。图1显示了框架中使用的两个示例性特征映射（8×8和4×4）。在实践中，我们可以使用更多的具有很少计算开支的特征映射。  
已知网络中不同层的特征映射具有不同的（经验的）感受野大小\[13\]。幸运的是，在SSD框架内，默认边界框不需要对应于每层的实际感受野。我们设计平铺默认边界框，以便特定的特征映射学习响应目标的特定尺度。假设我们要使用mm个特征映射进行预测。每个特征映射默认边界框的尺度计算如下：  
![在这里插入图片描述][20201019211523493.png_pic_center]  
其中smin为0.2，smax为0.9，意味着最低层具有0.2的尺度，最高层具有0.9的尺度，并且在它们之间的所有层是规则间隔的。我们为默认边界框添加不同的长宽比，并将它们表示为 a r ∈ 1 , 2 , 3 , 1 / 2 , 1 / 3 a\_r∈1,2,3,1/2,1/3 ar∈1,2,3,1/2,1/3。我们可以计算每个边界框的宽度( w k a = s k a r w^a\_k=s\_k\\sqrt \{a\_r\} wka=skar)和高度( h k a = s k a r h^a\_k=s\_k\\sqrt \{a\_r\} hka=skar)。对于长宽比为1，我们还添加了一个默认边界框，其尺度为KaTeX parse error: Expected '\}', got 'EOF' at end of input: …qrt \{s\_ks\_\{k+1\}，在每个特征映射位置得到6个默认边界框。我们将每个默认边界框的中心设置为( i + 0.5 ∣ f k ∣ , j + 0.5 ∣ f k ∣ \{i+0.5\\over |f\_k|\},\{j+0.5\\over |f\_k|\} ∣fk∣i\+0.5,∣fk∣j\+0.5)，其中|fk|是第k个平方特征映射的大小，i,j∈\[0,|fk|)。在实践中，也可以设计默认边界框的分布以最适合特定的数据集。如何设计最佳平铺也是一个悬而未决的问题。  
通过将所有默认边界框的预测与许多特征映射所有位置的不同尺度和高宽比相结合，我们有不同的预测集合，涵盖各种输入目标大小和形状。例如，在图1中，狗被匹配到4×4特征映射中的默认边界框，而不是8×8特征映射中的任何默认框。这是因为那些边界框有不同的尺度，不匹配狗的边界框，因此在训练期间被认为是负例。  
**难例挖掘。** 在匹配步骤之后，大多数默认边界框为负例，尤其是当可能的默认边界框数量较多时。这在正的训练实例和负的训练实例之间引入了显著的不平衡。我们不使用所有负例，而是使用每个默认边界框的最高置信度损失来排序它们，并挑选最高的置信度，以便负例和正例之间的比例至多为3:1。我们发现这会导致更快的优化和更稳定的训练。  
**数据增强。** 为了使模型对各种输入目标大小和形状更鲁棒，每张训练图像都是通过以下选项之一进行随机采样的：

*  使用整个原始输入图像。
 *  采样一个图像块，使得与目标之间的最小Jaccard重叠为0.1，0.3，0.5，0.7或0.9。
 *  随机采样一个图像块。  
    每个采样图像块的大小是原始图像大小的\[0.1，1\]，长宽比在1212和2之间。如果实际边界框的中心在采用的图像块中，我们保留实际边界框与采样图像块的重叠部分。在上述采样步骤之后，除了应用类似于文献\[14\]中描述的一些光度变形之外，将每个采样图像块调整到固定尺寸并以0.5的概率进行水平翻转。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/52f74901592b4a788c9076e0638ffd9c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 1]: /images/20221123/90ec2ef84e274fb8b1fc5439b6802597.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 2]: /images/20221123/865f3efb667d4dc5b701c916c311d60e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2NoZW5heGlu_size_16_color_FFFFFF_t_70_pic_center 3]: /images/20221123/0cb14e89f768420f8035cdfb4801cc37.png
[2020101921133847.png_pic_center]: /images/20221123/2adf3f2f11ce4f39bb2dbeaf0e381a77.png
[20201019211415161.png_pic_center]: /images/20221123/96375077cc7c4238b8826e605d221201.png
[20201019211437306.png_pic_center]: /images/20221123/bbe0c0b295e644bc8c490783dc944cd3.png
[20201019211523493.png_pic_center]: /images/20221123/9e9a5438e07d44739ccdfc5d8a185afb.png