论文学习-深度学习目标检测2014至201901综述-Deep Learning for Generic Object Detection A Survey

骑猪看日落 2022-03-20 14:28 186阅读 0赞

博客：[blog.shinelee.me][] | [博客园][Link 1] | [CSDN][]

### 文章目录 ###

*  写在前面
 *  目标检测任务与挑战
 *  目标检测方法汇总
 *  基础子问题
 *   *  基于DCNN的特征表示
     *   *  主干网络（network backbone）
         *  Methods For Improving Object Representation
     *  Context Modeling
     *  Detection Proposal Methods
     *  Other Special Issues
 *  Datasets and Performance Evaluation

# 写在前面 #

paper：[https://arxiv.org/abs/1809.02165][https_arxiv.org_abs_1809.02165]  
github：[https://github.com/hoya012/deep\_learning\_object\_detection，A][https_github.com_hoya012_deep_learning_object_detection_A] paper list of object detection using deep learning

这篇综述对深度学习目标检测2014至201901取得的进展进行了总结，包括：

> More than 250 key contributions are included in this survey, covering many aspects of generic object detection research: **leading detection frameworks** and fundamental subprob-lems including **object feature representation**, **object proposal generation**, **context information modeling** and **training strategies**; **evaluation issues**, **specifically benchmark datasets**, **evaluation metrics**, and **state of the art performance**.

本文的主要目的在于摘录paper中的一些重要图表和结论，作为系统学习的索引，不做详细的展开。

下面两张图来自github，分别为paper list和performance table，红色为作者认为必读的paper。  
![目标检测DCNN paper list][DCNN paper list]  
![performance table][]

# 目标检测任务与挑战 #

**目标检测任务的输入是一张图像，输出是图像中的物体位置和类别**，如下图所示，位置可通过Bounding Box描述，也可描述为像素的集合。  
![通用目标检测任务][k0w3Ox.png]  
为了确定图片中物体的位置和类别，要面临很多挑战，一个好的检测器要做到**定位准确**、**分类准确**还要**效率高**，需要对光照、形变、尺度、视角、尺寸、姿态、遮挡、模糊、噪声等情况鲁棒，需要能容忍可能存在的较大的类内差异，又能区分开较小的类间差异，同时还要保证高效。  
![目标检测任务的挑战][k0rWV0.png]  
![目标检测任务的挑战][k0sEIf.png]

# 目标检测方法汇总 #

在2012年前，目标检测方法主要是人工特征工程+分类器，2012年后主要是基于DCNN的方法，如下图所示：  
![目标检测Milestones][Milestones]  
![DCNN目标检测][DCNN]

目标检测的框架可以分成2类：

1.  **Two stage detection framework**：含region proposal，先获取ROI，然后对ROI进行识别和回归bounding box，以RCNN系列方法为代表。
2.  **One stage detection framework**：不含region proposal，将全图grid化，对每个grid进行识别和回归，以YOLO系列方法为代表。

Pipeline对比与演化如下：  
![目标检测方法Pipeline对比与演化][Pipeline]  
**主干网络、检测框架设计、大规模高质量的数据集**是决定检测性能的3个最重要的因素，决定了学到特征的好坏以及特征使用的好坏。

# 基础子问题 #

这一节谈论的重点包括：基于DCNN的特征表示、候选区生成、上下文信息、训练策略等。

## 基于DCNN的特征表示 ##

### 主干网络（network backbone） ###

ILSVRC（ImageNet Large Scale Visual Recognition Competition）极大促进了DCNN architecture的改进，在计算机视觉的各种任务中，往往将这些经典网络作为主干网络（backbone），再在其上做各种文章，常用在目标检测任务中的DCNN architectures如下：  
![DCNN architectures][]

### Methods For Improving Object Representation ###

物体在图像中的尺寸是未知的，图片中的不同物体尺寸也可能是不同的，而DCNN越深层的感受野越大，因此只在某一层上进行预测显然是难以达到最优的，一个自然的想法是利用不同层提取到的信息进行预测，称之为**multiscale object detection**，可分成3类：

1.  Detecting with combined features of multiple CNN layers
2.  Detecting at multiple CNN layers;
3.  Combinations of the above two methods

直接看图比较直观：  
![ION和HyperNet][ION_HyperNet]  
![RFB 与 ZIP][RFB _ ZIP]  
尝试对几何变形进行建模也是改善Object Representation的一个方向，方法包括结合Deformable Part based Models (DPMs)的方法、Deformable Convolutional Networks (DCN)方法等。  
![改善DCNN特征表示的方法][DCNN 1]

## Context Modeling ##

上下文信息可以分为3类：

1.  **Semantic context**: The likelihood of an object to be found in some scenes but not in others;
2.  **Spatial context**: The likelihood of finding an object in some position and not others with respect to other objects in the scene;
3.  **Scale context**: Objects have a limited set of sizes relative to other objects in the scene.

DCNN通过学习不同抽象层级的特征可能已经隐式地使用了contextual information，因此目前的state-of-art目标检测方法并没有显式地利用contextual information，但近来也有一些显式利用contextual information的DCNN方法，可分为2类：Global context和Local context。

![context information][]

![Local Context][]  
感觉可以在某种程度上看成是数据层面的集成学习。

## Detection Proposal Methods ##

Two stage detection framework需要生成ROI。

生成ROI的方法，可以分为**Bounding Box Proposal Methods**和**Object Segment Proposal Methods**，前者回归出Bounding Box来描述ROI，后者通过分割得到像素集合来描述ROI。  
![object proposal methods][]  
![Region Proposal Network][]

## Other Special Issues ##

通过data augmentation tricks（数据增广）可以得到更鲁棒的特征表示，可以看成是数据层面上的集成学习，考虑到物体尺度可大可小的问题，scaling是使用最多的数据增广方法。  
![representative methods for training strategies and class imbalance handling][]

# Datasets and Performance Evaluation #

![popular databases for object recognition][]

![example images][]  
![Statistics of commonly used object detection datasets][]  
![metrics][]  
以上。

[blog.shinelee.me]: https://blog.shinelee.me/
[Link 1]: https://www.cnblogs.com/shine-lee/
[CSDN]: https://blog.csdn.net/blogshinelee
[https_arxiv.org_abs_1809.02165]: https://arxiv.org/abs/1809.02165
[https_github.com_hoya012_deep_learning_object_detection_A]: https://github.com/hoya012/deep_learning_object_detection%EF%BC%8CA
[DCNN paper list]: /images/20220320/0643ec22804a45cfa226ffd98bc49142.png
[performance table]: /images/20220320/47f04536fa744bd0838e415aff200dd6.png
[k0w3Ox.png]: /images/20220320/d875e19adaf64ecc98bf070ff60bd6ff.png
[k0rWV0.png]: /images/20220320/be2bed910de043e0b82f32608b17d9fc.png
[k0sEIf.png]: /images/20220320/69278df861664e058d68b3bb1775427f.png
[Milestones]: /images/20220320/8e98d43bd44b461a900e09a33366faa4.png
[DCNN]: /images/20220320/8c76060eadc74cd68fdc90c25d97b026.png
[Pipeline]: /images/20220320/009ff142ce9f41c88372a858d666729a.png
[DCNN architectures]: /images/20220320/34663cf5a9a14f8bae9cf5b2f8fe5e50.png
[ION_HyperNet]: /images/20220320/7028b742281e40dbb87130d461b976dc.png
[RFB _ ZIP]: /images/20220320/cf85a387d14b4e94b77f98bab9b4b185.png
[DCNN 1]: /images/20220320/92c977ee14a64fe19d2af2e6167c672a.png
[context information]: /images/20220320/31aa4535a87f4dc1b54cf3943c8cc92b.png
[Local Context]: /images/20220320/7f660da2166b4b71bffdc7515c8a26e1.png
[object proposal methods]: /images/20220320/112e87454a99401b97b56e670cbf4317.png
[Region Proposal Network]: /images/20220320/6e46db83d36a4035be3a5eabc8064ae0.png
[representative methods for training strategies and class imbalance handling]: /images/20220320/c4af57c53fd14bf59a23e3b6feab86a7.png
[popular databases for object recognition]: /images/20220320/3839f9a2c6804aa68e12c2ed6c52dab2.png
[example images]: /images/20220320/5cb86827fca14b1d8950823e0842906a.png
[Statistics of commonly used object detection datasets]: /images/20220320/fa162041590b4822a2ad39f2880fed0a.png
[metrics]: /images/20220320/b954038c2be142c4b02a9a48ce04b0b8.png