目标检测入门之历史发展与基本名词概念

向右看齐 2023-01-08 04:20 125阅读 0赞

# 目标检测 #

## 一、历史发展 ##

![img][]

## 二、基本概念 ##

1.  one-stage目标检测算法（也称one-shot object detectors），其特点是一步到位，速度相对较快。另外一类目标检测算法是two-stage的，如[Faster R-CNN][]算法先生成候选框（region proposals，可能包含物体的区域），然后再对每个候选框进行分类（也会修正位置）。这类算法相对就慢，因为它需要多次运行检测和分类流程。而one-stage检测方法，仅仅需要送入网络一次就可以预测出所有的边界框，因而速度较快，非常适合移动端。最典型的one-stage检测算法包括[YOLO][]，[SSD][]，[SqueezeDet][]以及[DetectNet][]。
2.  样例模型最后的卷积层包含125个卷积核。
    
    为什么是125？因为有5个检测器，每个检测器有25个卷积核。这25个卷积核中的每一个都预测边界框的属性 值：坐标x和y，宽度，高度，置信度，20类概率。
    
    *注意：一般来说，如果数据集有k类，而模型有b个检测器，那么网格需要有b×（4+1+k）个输出通道。*

## 三、基本名词 ##

*  **IOU（Intersection over Union）**：交并比

![img][img 1]

如上图所示，IOU值定位为两个矩形框面积的交集和并集的比值。即：

IOU=A∩B/A∪B

*  **GT（ground truth）** ：真实目标
 *  **FP** ：负样本

False Positive,被判定为正样本，但事实上是负样本。

*  **TP** ：正样本

True Positive,被判定为正样本，事实上也是正样本。

*  **置信度（confidence ）**

置信度介于0和1（或100％）之间，用于表征模型认为此预测边界框包含真实物体的可能性。请注意，这个分数只说明了这是否是一个物体，但没有说明这是什么类型的物体，后面需要分类概率才能确定。

置信度越高，说明模型对输出的结果越肯定。

*  **损失函数**

损失函数用来估量模型的预测值与真实值的不一样程度，通常可以用梯度下降算法寻找函数最小值。

深度学习中损失函数是整个网络模型的“指挥棒”， 通过对预测样本和真实样本标记产生的误差反向传播指导网络参数学习。

*  **通道（channel）和特征图（feature map）**

两者本质上是相同的，比如输入一张图片有rgb三个通道，也就对应三个特征图。

一个通道是对某个特征的检测，**通道中某一处数值的强弱就是对当前特征强弱的反应**。

*  **MultiBox** ： 多框预测
 *  **bounding box** ： 边界框
 *  **Anchor Box：预设边框**
 *  **Prior boxes,** \*\*Default boxes，Anchors \*\*： 都是指先验框

预定义边框就是一组预设的边框，在训练时，以真实的边框位置相对于预设边框的偏移来构建  
训练样本。 这就相当于，**预设边框先大致在可能的位置“框“出来目标，然后再在这些预设边框的基础上进行调整**。

*  Anchor box的**Scale**：表示目标的大小
 *  Anchor box的**Aspect Ratio**：表示目标的形状
 *  **感受野（Receptive Field）**

在卷积神经网络中，感受野（Receptive Field）的定义是卷积神经网络每一层输出的特征图（feature map）上的像素点在输入图片上映射的区域大小。再通俗点的解释是，特征图上的一个点对应输入图上的区域，如图1所示。

![img][img 2]

图1：用图形理解感受野概念

*  **理论感受野与有效感受野**

影响某个神经元输出的输入区域就是**理论感受野**，也就是我们平时说的感受野，但该输入区域的每个像素点对输出的重要性不同，越靠近中心的像素点影响越大，呈高斯分布，也就是说只有中间的一小部分区域对最后的输出有重要的影响，这个中间的一小部分区域就是**有效感受野**。

*  **classification ：分类**
 *  **regression ： 回归**
 *  **FPN（Feature Pyramid Networks）** ： 特征金字塔网络
 *  **Focal loss** ：一种损失函数

主要是为了解决one-stage目标检测中正负样本比例严重失衡的问题。该损失函数降低了大量简单负样本在训练中所占的权重，也可理解为一种困难样本挖掘。

*  **Mining** : 样本挖掘
 *  **正样本与负样本**

正样本是指属于某一类别的样本,负样本是指不属于某一类别的样本；  
比如说你在做字母A的图像识别，字母A的样本就属于正样本，不是字母A的样本就属于负样本

*  **region proposal** ： 候选区域，候选框
 *  **RPN** ： Region Proposal Network
 *  **NMS(Non-maximum suppression)** ：非极大值抑制

NMS所做的就是去除掉多余的bounding box，只保留和ground truth重叠度最高的bounding box。

标准后处理方法是应用非最大抑制（NMS）来去除重叠框。简而言之，NMS保留拥有最高的置信度的预测框，并删除任何与之重叠超过一定阈值的预测框（例如60％）。

*  **selective search** ： 选择性搜索
 *  **AP（Average Precision）**：*AP* 定义为不同召回率下的**平均检测精度**，通常在某一特定类别下进行评估  
    ![img][img 3]
 *  **MAP（Mean Average Precision，平均AP值）**：是所有目标类别AP值的平均数
 *  **Benchmarks** ：基准
 *  **State of the Art** : 当前最佳
 *  **SSE（sum-squared error）** ：平方和误差
 *  **MSE（mean-squared error）** ：均方差
 *  **softmax和sigmoid**

在实际应用中，一般将**softmax用于多类分类**的使用之中，而将**sigmoid用于多标签分类**之中。

YOLOv3和SSD在计算物体类别损失函数的时候，它们将这个问题看成多标签分类问题。所以不采用softmax（它导致各个类别互斥），反而使用sigmoid，这样允许预测多个标签。

softmax把一些输入映射为0-1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。

![img][img 4]

*  **ReLU** **与 sigmoid** ：非线性激活函数

在深度神经网络中，通常使用一种叫\*\*修正线性单元(Rectified linear unit，ReLU）\*\*作为神经元的激活函数。其实，relu函数的作用就是增加神经网络各层之间的非线性关系。

sigmoid有一个“梯度消失”的问题。梯度消失什么意思呢？就是我们希望对每个神经元，激励函数都能尽量区分出z值变化，这样每个神经元的表达能力更强，但sigmoid明显在|z|>4的区间的梯度就不够看了，即它的梯度消失了，这种情况会造成信息丢失，从而无法完成深层网络的训练。

![img][img 5]

ReLU输出很稳定，因为他z>0区间就是一个线性函数！不存在sigmoid的梯度消失的问题。

另一个ReLU很给力的地方就是稀疏度问题。就是我们希望每个神经元都能最大化的发挥它筛选的作用，符合某一个特征的中间值，使劲儿放大；不符合的，一刀切掉。

反观sigmoid就要黏糊的多。这个函数是很对称很美，但它面对负的z值仍然剪不断理还乱，会输出一个小的激励值（tanh会好一些但仍不能避免），形成所谓的“稠密表示”。

最后的最后，ReLU计算量小，运算速度快，这个很明显了，max肯定比幂指数快的多。

![img][img 6]

> 为什么引入非线性激励函数？
> 
> 如果不使用激励函数，那么在这种情况下每一层的输出都是上层输入的线性函数，很容易验证，无论你神经网络有多少层，输出都是输入的线性组合，与没有隐藏层效果相当，这种情况就是最原始的感知机（perceptron）了。
> 
> 正因为上面的原因，我们决定引入非线性函数作为激励函数，这样深层神经网络就有意义，不再是输入的线性组合，可以逼近任意函数，最早的想法是用sigmoid函数或者tanh函数，输出有界，很容易充当下一层的输入。

*  **fine-tune** : 调整
 *  **Batch Size** ：一次训练所选取的样本数
 *  **Epoch**：一个epoch指代所有的数据送入网络中完成一次前向计算及反向传播的过程。由于一个epoch常常太大，计算机无法负荷，我们会将它分成几个较小的batches。

![img][img 7]

随着epoch数量的增加，神经网络中权重更新迭代的次数增多，曲线从最开始的不拟合状态，慢慢进入优化拟合状态，最终进入过拟合。

*  **Batch Size**：所谓Batch就是每次送入网络中训练的一部分数据，而Batch Size就是每个batch中训练样本的数量。
 *  **Iterations**：所谓iterations就是完成一次epoch所需的batch个数。**batch numbers就是iterations。**

> 简单一句话说就是，我们有2000个数据，分成4个batch，那么batch size就是500。运行所有的数据进行训练，完成1个epoch，需要进行4次iterations。

*  **学习率(Learning rate)**：

\*\*学习率(Learning rate)\*\*作为监督学习以及深度学习中重要的超参，其决定着目标函数能否收敛到局部最小值以及何时收敛到最小值。合适的学习率能够使目标函数在合适的时间内收敛到局部最小值。

当学习率设置的**过小**时，收敛过程如下：

![img][img 8]

当学习率设置的**过大**时，收敛过程如下：

![img][img 9]

由上图可以看出来，当学习率设置的**过小**时，**收敛过程将变得十分缓慢**。而当学习率设置的**过大**时，**梯度可能会在最小值附近来回震荡，甚至可能无法收敛**。

学习率对**深度学习**模型训练的影响：

![img][img 10]

可以由上图看出，固定学习率时，当到达收敛状态时，会在最优值附近一个**较大的区域内**摆动；而当随着迭代轮次的增加而减小学习率，会使得在收敛时，在最优值附近一个**更小的区域**内摆动。（之所以曲线震荡朝向最优值收敛，是因为在每一个mini-batch中都存在噪音）。

## 四、Pytorch函数 ##

1.  **Torch.nn.Conv2d**(in\_channels，out\_channels，kernel\_size，stride=1，padding=0，dilation=1，groups=1，bias=True)

in\_channels：输入维度

out\_channels：输出维度

kernel\_size：卷积核大小

stride：步长大小

padding：补0

dilation：kernel间距

![img][img 11]

[img]: /images/20221119/753e75eeb0214902b399a5ff333355d6.png
[Faster R-CNN]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1506.01497
[YOLO]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1612.08242
[SSD]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1512.02325
[SqueezeDet]: https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1612.01051
[DetectNet]: https://link.zhihu.com/?target=https%3A//devblogs.nvidia.com/detectnet-deep-neural-network-object-detection-digits/
[img 1]: /images/20221119/fe37de3ddc85489e8594b49e4102a316.png
[img 2]: https://img-blog.csdn.net/2018070813280633?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3Byb2dyYW1fZGV2ZWxvcGVy/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[img 3]: https://img-blog.csdnimg.cn/20190719213700861.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L21fYnVkZHk=,size_16,color_FFFFFF,t_70
[img 4]: https://img-blog.csdn.net/20180902220822202?watermark/2/text/aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2JpdGNhcm1hbmxlZQ==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70
[img 5]: https://img-blog.csdnimg.cn/img_convert/107579754e1c3b54461c3e063e1639c7.png
[img 6]: https://img-blog.csdnimg.cn/img_convert/a00dadc1dc944aebc8c5373a30b916a4.png
[img 7]: https://img-blog.csdnimg.cn/img_convert/fc9c47c7706d4713de607168458e78a9.png
[img 8]: https://img-blog.csdnimg.cn/img_convert/7807a7a16965d49a1697c0bf0e4e0b06.png
[img 9]: https://img-blog.csdnimg.cn/img_convert/eea61290f0b7283eeaa2a90aff2e50fe.png
[img 10]: https://img-blog.csdnimg.cn/img_convert/41fc6260121f85cdb38803f31dfadf00.png
[img 11]: https://img-blog.csdnimg.cn/img_convert/537b0b2a41d1e62bfb04244d66818d9c.png