目标检测概述

你的名字 2022-02-22 10:01 578阅读 0赞

# 目标检测的定义 #

**目标检测是在图片中对可变数量的目标进行查找和分类**

任务难点：

*  目标种类与数量的问题
 *  目标尺度问题
 *  外界环境干扰问题

目标检测与其他的图像任务的区别：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 1][]

# 目标检测算法的常用算法总结 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 2][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 3][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 4][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 5][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 6][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 7][]

# 传统的目标检测算法的基本流程 #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 8][]

对于基于深度学习的检测算法只是在上述的流程中具体的步骤采用不同的方法而已，没有其他的区别（当然还有不采用分类进行目标检测的算法，暂时先不考虑，大体的流程就是如此）

## NMS(极大值抑制) ##

目标：为了消除多余的框，找到最好的物体检测的位置

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 9][]

*  前一级的分类可能是一个多分类，也可能是一个二分类，分类的结果是将包含目标的滑窗筛选出来，但是可能会出现两张滑窗包含同一目标的问题，这样我们通过极大值抑制的方法可以解决这种问题
 *  NMS按照置信度对所有的框进行排序，选择最高分对应的框
 *  遍历所有的框，如果和当前最高分的框的重叠面积IOU大于一定阈值，那么就删除这个框
 *  从未处理的框中选择一个得分值最高的，重复上述的过程

## 改进方法（soft NMS）: ##

*  相邻区域内的检测框的分数进行调整而非彻底抑制，从而提高了高检索率情况下的性能
 *  在低检索率时如仍能对物体检测性能有明显的提升

![20190409122350174.png][]

左边的是NMS的公式，右边的是改进的SOFT-NMS算法的公式

## 常见的传统目标检测算法 ##

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 10][]

## Viala-Jones算法 ##

*  Haar特征抽取
 *  训练人脸分类器（adaboost算法等）
 *  滑动窗口

## HOG+SVM算法(行人检测) ##

*  HOG特征提取
 *  SVM分类器
 *  滑动窗口

HOG特征：

*  灰度化+Gamma变化
 *  计算梯度map
 *  图像划分成小的cell，统计每个cell的直方图
 *  多个cell组成一个block，特征归一化
 *  多个block串联，并归一化

## DPM算法（传统目标检测算法的巅峰） ##

![70][]

*  计算DPM特征图
 *  计算相应图（root filter 和part filter）
 *  Latent SVM分类器训练
 *  检测识别

# 基于深度学习的目标检测算法 #

## two-stage目标检测算法 ##

*  CNN卷积结构
 *  端到端的目标检测（RPN网络）
 *  准确度高、速度相对one-stage慢

目标检测算法的基本流程

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 11][]

### two-stage常见算法： ###

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 12][]

# two-stage核心组件 #

*  CNN
 *  RPN网络

CNN网络设计原则

*  从简到繁再到简的卷积神经网络：深层次的网络会增加模型的鲁棒性，但是同时也会出现梯度弥散或者梯度消失的问题（BATCH NORMALIZATION）
 *  多尺度特征融合的网络
 *  更轻量级的CNN网络

### **RPN网络：（Faster RCNN）** ###

所谓的RPN，就是以一张任意大小的图片作为输入，输出一批矩形区域的提名，每一个区域都会对应目标的分数和位置信息；实际上就是在最终的卷积层上，在每个点利用滑窗生成K个不同的矩形框来提取区域，K一般取9

K个不同的矩形框被称为anchor，具有不同的尺寸和比例；用分类器来判断anchor覆盖的图像是前景还是背景，对于每一个anchor，还需要使用一个回归模型来回归框的精细位置

**faster-rcnn的主要步骤：**

*  特征提取：将整张图片输入到神经网络中去，利用CNN处理图片得到feature map
 *  区域提名：在上一步骤得到的feature-map上进行学习proposal的提取
 *  分类与回归：对每个anchor box对应的区域进行二分类，判断这个区域是否有物体，然后对候选框选择位置和大小进行微调，分类

faster-rcnn算法选择了RPN网络进行候选区域选择，因为feature map的大小远远小于原始的图像此时的滑动窗口呈现数量级的降低，并且RPNS和ROI pooling还公用了基础的网络，更是大减少了参数数量和预测时间，生成的候选区域的可靠程度也大大提高

### **selective search** ###

传统目标检测的算法中的区域是通过穷举法的思路而不是生成候选区域方法，每滑一个窗口检测一次，相邻窗口信息重叠高，检测速度慢，这导致出现非常多的无效区域的判断，一张普通大小的图片轻易可以提取出超过一万的候选区，那么有没有什么办法减少候选区域呢？

selective search方法利用经典的图像分割的方法，首先对图像进行初始切割，然后通过分层分组的方法对分割的结果进行筛选和归并，最终输出所有可能的位置，将候选区域缩小到2000个左右

# one-stage #

*  使用CNN卷积特征
 *  直接回归物体的类别概率和位置坐标（无region proposal）
 *  准确率低、速度相对two-stage更快

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 13][]

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 14][]

## one-stage核心组件 ##

*  CNN网络
 *  回归网络

CNN网络设计原则

# one-stage VS two-stage #

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 15][]

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70]: /images/20220222/1fe6e744aa634582b0945085ef7af405.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 1]: /images/20220222/03b8c46954494d8e964d6ebc03090423.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 2]: /images/20220222/4cf4ac54d03e4a3582adf5f62852c85b.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 3]: /images/20220222/442ec6df359a4fd0a7230a5831ec0be7.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 4]: /images/20220222/fce93ba890fe433eb2b2c3b5c4007b47.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 5]: /images/20220222/5c0cae5d663448a093d001613d10ef40.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 6]: /images/20220222/bdac367d38b5442bbc985b7833372e42.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 7]: /images/20220222/9e7d974814434cd193d77e9331f5a793.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 8]: /images/20220222/7ff14802b41442da8fdf195a9d4f930f.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 9]: /images/20220222/644a030ad0e6445fb55d6482f3eccf53.png
[20190409122350174.png]: /images/20220222/3ff36db4212a437d95118ce18f68dc1d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 10]: /images/20220222/9a9f9c4e9ee74b6cb8275b6abba82e54.png
[70]: /images/20220222/fc197f53eb194602b2413783cfc10e63.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 11]: /images/20220222/595945e631d84136a686d5bc921b97ef.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 12]: /images/20220222/28aaf5252f094042b1f292a66628ee27.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 13]: /images/20220222/a756003e92354af992ee25edf5331a5c.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 14]: /images/20220222/09665d42c6c54fe38555a8641f1289cf.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MTkzMTU0MA_size_16_color_FFFFFF_t_70 15]: /images/20220222/e66e2b47262f4685b54a5a3b04667cad.png