基于视觉的目标识别与跟踪综述

小灰灰 2021-12-10 09:23 358阅读 0赞

转载自：[https://blog.csdn.net/suqiguang1/article/details/79373483/][https_blog.csdn.net_suqiguang1_article_details_79373483]  
论文下载地址：  
  
[http://download.csdn.net/download/suqiguang1/10256183][http_download.csdn.net_download_suqiguang1_10256183]（CSDN）  
  
[http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2016&filename=MOTO201610002&v=MTk3NjFYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVJMS2ZaZVJzRkNqa1ViN09LQ0xmWWJHNEg5Zk5yNDlGWm9SOGU=][http_kns.cnki.net_KCMS_detail_detail.aspx_dbcode_CJFQ_dbname_CJFDLAST2016_filename_MOTO201610002_v_MTk3NjFYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVJMS2ZaZVJzRkNqa1ViN09LQ0xmWWJHNEg5Zk5yNDlGWm9SOGU]（知网）

# 0.综述 #

基于视觉的目标检测与跟踪应用领域如下图所示：  
![应用][70]  
近年来目标检测与跟踪相关综述文献如下图所示：  
![这里写图片描述][70 1]  
本文主要对运动目标检测与跟踪，在不同层面的典型算法进行较为详细的全面地梳理与总结。

# 1. 目标检测 #

目标检测目的：从不同复杂程度的背景中辨识出运动目标，并分离背景，从而完成跟踪识别等后续任务。  
可以看到目标检测是后续任务正常进行的基础，它将直接影响目标识别、动作识别等任务的性能。  
基于视觉的目标检测与跟踪执行框架如下图所示：  
![这里写图片描述][70 2]  
目标检测任务：分割“我们不关心”的背景从而获取“我们所关心”的前景目标。  
目标检测分类：①基于背景建模的目标检测；②基于前景建模的目标检测。

## 1.1基于背景建模的目标检测 ##

基于背景建模方法：将当前帧与背景参考模型进行对比，再通过阈值法判断各个像素是否属于运动前景，最终对检测出的运动前景分割得到跟踪目标。  
基于背景建模的目标检测实现流程如下图所示：  
![这里写图片描述][70 3]  
背景初始化：对背景模型的初始化，做简单的初始化就是得到一帧不包含任何前景运动目标的背景图。  
然而实际场景中受光照等因素影响，很难获得准确的背景图像，因此如何获取鲁棒、自适应的背景模型是基于背景建模的关键。

<table> 
 <thead> 
  <tr> 
   <th>常用背景模型</th> 
   <th align="center">适用场合</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>高斯模型、支持向量模型</td> 
   <td align="center">处理动态背景</td> 
  </tr> 
  <tr> 
   <td>子空间学习模型</td> 
   <td align="center">处理光照变化问题</td> 
  </tr> 
  <tr> 
   <td>模糊模型</td> 
   <td align="center">同时处理光照变化与动态背景</td> 
  </tr> 
  <tr> 
   <td>……</td> 
   <td align="center">……</td> 
  </tr> 
 </tbody> 
</table>

## 1.2 基于前景目标建模的目标检测 ##

基于前景目标建模的目标检测分为①离线训练；②在线检测两个阶段。  
离线训练：对训练样本前景目标与背景分别进行特征表达，建立起前景或背景的表观模型，再进行分类器训练得到分类器模型。  
在线检测：对测试样本在多个尺度上进行滑动窗口扫描，再采用同样的特征表达方法建立起表观模型，然后用离线训练得到的分类器模型对其进行分类，从而判断各个窗口是否为前景目标。  
基于前景的目标检测处理流程如下图所示：  
![这里写图片描述][70 4]  
优点：与基于背景建模方法相比，该类方法不受场景限制，检测结果不需再次进行分割。  
通用框架：特征表达+分类器

### 1.2.1 特征表达 ###

含义：将原始图像像素映射到一个可区分维度空间数据的过程，它是打破底层像素与高层语义之间至关重要的一步。  
分类（按能否通过自学习得到分）：①基于人工设计的特征表达；基于学习的特征表达。  
**1）基于人工设计的特征表达**  
依赖于人类的先验知识与智慧。  
分类：①梯度特征、②模式特征、③形状特征、④颜色特征。  
①梯度特征通过计算空间区域上的梯度强度和方向来描述目标。最常用的梯度特征是Lowe提出的尺度不变特征（SIFT），改进型中比较出名的就是加速鲁棒特征（SURF），另外梯度直方图特征（HOG）可以用于解决静态图像中的行人检测问题。  
②模式特征是通过分析图像局部区域的相对差异而得到的一种特征描述。例如局部二值模式（LBP）可用于人脸特征描述相对于梯度特征，模式特征数据维度较高，计算负担相对较大。  
③形状特征用于对目标轮廓描述。常见形状特征有形状上下文、角矩阵、k近邻分割图形基元、线描述子等。形状特征忽略了纹理、颜色等有用信息，因此降低了检测可靠性。  
④颜色特征是通过计算局部的图像属性（灰度、颜色等）的概率分布而得到的一种特征描述。  
基于人工设计的特征表达方法归纳总结如下图所示：  
![这里写图片描述][70 5]  
基于人工设计的特征表达缺点：对目标的刻画不够本质。因为这种方法对问题的处理总有一个“显示”的预处理过程，二哺乳动物的大脑对信号并没有一个“显示”的预处理过程，而是将输入信号在大脑中复杂的层次结构中进行传播。基于学习的特征表达就是通过无监督学习的方法让机器自动的从样本中学习到更加本质的特征，从而使计算机模拟人类感知信号。  
2）基于学习的特征表达  
基于学习的特征表达主要是采用无监督学习的方法，是机器自动学习刻画样本更本质的特征。该类方法最常用的是基于深度学习的特征表达方式，其通过逐层地构建一个多层网络，使机器自动地学习隐含在数据内部的关系。常用的深度学习框架有Jia等的Caffe、Google的TensorFlow等。  
基于深度学习的特征表达按构成单元不同可以分为基于限制玻尔兹曼机（Restricted Boltzmann Machine，RBM）、基于自编码机（Auto Encoder，AE）、基于卷积神经网络（Convolutional Neural Network，CNN）的特征表达方法。  
a）基于限制玻尔兹曼机的特征表达  
RBM是一个双层的无向图模型，它是玻尔兹曼机的简化模型，RBM模型示意图如下图所示：  
![这里写图片描述][70 6]  
其中v是可见层单元，h是隐藏层单元，其层间单元没有连接关系、相互独立。  
b）基于自编码机的特征表达  
该方法通过对输入信号的自动编码，能有效的去除冗余信息，获得输入信号的主要信息，使输入信号得以更加简洁的表达。基于自编码机的特征表达模型示意图如下图所示：  
![这里写图片描述][70 7]  
c）基于卷积神经网络的特征表达  
单层卷积神经网络：卷积、子采样。  
卷积通过引入不同的卷积核提取信号的不同特征，实现对输入信号的特定模式的观测。  
子采样主要用于对特征图的降维，主要通过平均池化或最大值池化操作实现，该过程虽降低了特征图分辨率，但能很好的保持特征图的特征描述。  
![这里写图片描述][70 8]  
基于学习的特征表达方法归纳总结如下：  
![这里写图片描述][70 9]

### 1.2.2 分类器 ###

支持向量机（SVM）是使用最为广泛的分类器之一，尤其是引入核方法的SVM分类效果很好，目前常用的核函数有：LInear, Sigmoid, RBF, GussianRBF。  
对于高维度数据分类，通常将多个分类器集成在一起，得到一个分类性能更优良的强分类器，常用的方法有：Bagging、Boosting，随机森林等。  
（目标检测领域常用的数据集如下图所示）  
![这里写图片描述][70 10]

未完待续……下一节主要涉及目标跟踪……  
下一节链接：[http://blog.csdn.net/suqiguang1/article/details/79375496][http_blog.csdn.net_suqiguang1_article_details_79375496]

[https_blog.csdn.net_suqiguang1_article_details_79373483]: https://blog.csdn.net/suqiguang1/article/details/79373483/
[http_download.csdn.net_download_suqiguang1_10256183]: http://download.csdn.net/download/suqiguang1/10256183
[http_kns.cnki.net_KCMS_detail_detail.aspx_dbcode_CJFQ_dbname_CJFDLAST2016_filename_MOTO201610002_v_MTk3NjFYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVJMS2ZaZVJzRkNqa1ViN09LQ0xmWWJHNEg5Zk5yNDlGWm9SOGU]: http://kns.cnki.net/KCMS/detail/detail.aspx?dbcode=CJFQ&dbname=CJFDLAST2016&filename=MOTO201610002&v=MTk3NjFYMUx1eFlTN0RoMVQzcVRyV00xRnJDVVJMS2ZaZVJzRkNqa1ViN09LQ0xmWWJHNEg5Zk5yNDlGWm9SOGU=
[70]: /images/20211210/4d132ab174e1426f88907396a770810e.png
[70 1]: /images/20211210/08e89104f09042a496d68cb920987e0e.png
[70 2]: /images/20211210/65ae5c0676fa4a28bfc2f03fd4408f7e.png
[70 3]: /images/20211210/797199eef0ba438296ac4b6b89305edd.png
[70 4]: /images/20211210/d5f0eb5b9d6141608de3bb110bb804e3.png
[70 5]: /images/20211210/120c20f9e84a42768317cb111549cca9.png
[70 6]: /images/20211210/40b3744d43a1492091a48ca112f8c730.png
[70 7]: /images/20211210/bea2b9646679490fa374da977d703caf.png
[70 8]: /images/20211210/754fb03076d8418b887d96a01ceed34e.png
[70 9]: /images/20211210/00f576056289438ca80ec98bb2f11af7.png
[70 10]: /images/20211210/78337b6614174b34859598df43b7c5e1.png
[http_blog.csdn.net_suqiguang1_article_details_79375496]: http://blog.csdn.net/suqiguang1/article/details/79375496