目标跟踪新高度ECO+：解除深度特征被封印的力量

偏执的太偏执、 2022-05-17 09:34 125阅读 0赞

【原文：[https://zhuanlan.zhihu.com/p/36463844][https_zhuanlan.zhihu.com_p_36463844]】

目标跟踪的相关滤波方向，Martin Danelljan 4月底在arXiv上挂出来的最新论文：

*  Bhat G, Johnander J, **Danelljan M**, et al. **Unveiling the Power of Deep Tracking** \[J\]. arXiv preprint arXiv:1804.06833, 2018.
 *  [https://arxiv.org/pdf/1804.06833.pdf][https_arxiv.org_pdf_1804.06833.pdf]

这次MD大神不是一作，看论文排版应该是投ECCV 2018的，目前没有开源代码，论文方法没有命名，这里用ECO+代表。

## **简单概要** ##

论文是对ECO的改进，deep tracker无法受益于更好更深CNN的深度特征，针对这一反常现象，实验和分析表明这主要是由于浅层特征（shollow feature）和深度特征（deep feature）的特性差异，**两种特征分而治之**，深度特征部分加入了数据增强（data augmentation）增加训练样本数量，用不同label function，浅层特征正样本更少，深度特征正样本更多。**两部分响应图自适应融合**，提出了可以同时反映准确性accuracy和鲁棒性robustness的检测质量估计方法，基于这个质量评估，最优化方法自适应融合两部分的响应图，得到最优的目标定位结果。实验结果在各个测试集上都是目前最好。

## **问题分析** ##

**性能**：自从MD大神的C-COT和ECO出现之后，相关滤波最近一年半没有较大突破，VOT2017前十名中，有一半以上都是在C-COT和ECO的基础上改进的，即使CVPR 2018也没有看到能全面超过ECO的论文，ECO到目前依然是难以逾越的高峰，这个方向是不是已经做到头了？

**复杂**：相比最初的KCF简洁明快，几行代码做到SOTA，如今的ECO已经复杂庞大到难以置信，各种优化和trick堆积，MD大神的码力和数学功底让人叹服，菜鸡如我已经看不懂ECO的源码，在深度学习提倡END2END，训练解决一切问题的年代，ECO确实做不到简单高效，这种框架是不是该抛弃？

**速度**：VGGNet作为backbone的深度特征，GPU上无法实时，换backbone或许可以缓解，但相比Staple、ECO-HC和CSR-DCF，仅hand-craft feature（HOG+CN）的相关滤波也能做到SOTA，超过绝大多数深度学习的tracker，还能保持在CPU上实时速度，深度特征+相关滤波是否有实用价值？

*时隔一年半，这篇论文告诉我们MD大神还在坚持，还有的做，发现问题解决问题。*

**ECO还存在哪些问题呢？**

1.  昂贵的深度特征与廉价的手工特征，性能上没有拉开差距，速度却被碾压，深度特征的能力好像没有发挥出来
2.  VOT2017中有人尝试了VGGNet换成更好的GoogLeNet和ResNet，但没有像其他方向一样带来性能方面的巨大提升，这违背了深度学习领域网络越大越深性能越好的基本法则，deep tracker无法从更深的CNN中获益

论文对比分析了深度特征和浅层特征：

*  **深度特征Deep Feature**：主要是CNN的高层激活，典型VGGNet的layer 5。优点是包含高层语义，对旋转和变形等外观变化具有不变性，何时何地都能找到目标，即**鲁棒性很强**；缺点是空间分辨率低，对平移和尺度都有不变性，无法精确定位目标，会造成目标漂移和跟踪失败，即**准确性很差**。
 *  **浅层特征Shollow Feature**：主要是手工特征如RGB raw-pixel, HOG, CN，和CNN的低层激活，典型VGGNet的Layer 1。优点是主要包含纹理和颜色信息，空间分辨率高，适合高精度定位目标，即**准确性很强**；缺点是不变性很差，目标稍微形变就不认识了，尤其是旋转，一转就傻逼，即**鲁棒性很差**。

ECO+对ECO的核心改进是两种特征区别对待，分而治之，深度特征负责鲁棒性，浅层特征负责准确性，两种检测响应图在最后阶段自适应融合，目标定位最优化，兼具两者的优势。

如下图，ECO无法获益于更深更好的CNN，但新论文方法ECO+可以。

![v2-79d73b34b00fc9a44d2a4f53dbbbc945_hd.jpg][]

## **具体方法——分** ##

**数据增强Data Augmentation**：通用目标跟踪的难点在于需要跟踪各种各样的目标，而且仅第一帧是ground truth，其他训练样本都是tracker自己产生的，训练样本严重匮乏data-hungry，尤其是在深度学习需要大数据支撑。在CNN训练中，解决训练样本不足问题常用Data Augmentation方法扩充训练集，如多尺度的随机裁切，随机翻转，颜色抖动等。

ECO+测试了几种Data Augmentation方法在ECO框架中的作用，包括：

*  **Flip**：水平翻转
 *  **Rotation**：从-60°到60°的固定12个角度旋转
 *  **Shift**：水平和竖直平移n像素再提取特征，等价于feature map平移n/s像素，s是步进
 *  **Blur**：高斯滤波模糊，模拟跟踪场景中常见的运动模型和尺度变化
 *  **Dropout**：通道级的dropout，随机20%的feature channel置为0，其余通道放大以保持样本能量

以上Data Augmentation分别用于浅层特征和深度特征，结果如图(a)：

![v2-71091fdd0a708e2aaedde1a5c69a6848_hd.jpg][]

用于深度特征都有明显提升，Blur提升最多4%，除了Shift其他都在1%以上，而用于浅层特征全都下降了，也是Blur最多，论文解释是：深度特征反映的语义信息，对这些Data Augmentation都有不变性，能从增加的样本获益，而浅层特征反映的纹理信息会剧变，扰乱tracker伤害性能。

**标签函数Label Function**：相关滤波的训练样本来自目标扩展区域，ground truth是高斯分布，中心部分接近1是正样本，边缘部分接近0是负样本，正负样本比例通过高斯函数的标准差delta控制，标准差越大正样本越多。

在ECO中，深度特征和浅层特征的高斯标签函数相同，ECO+提出要区别对待，实验结果如上图(b)，深度特征标准差1/4最好，浅层特征标准差1/16最好。通过标签函数增加的正样本等价于平移数据增强，所以论文解释是：深度特征对小平移的不变性，同上从增加的正样本获益，深度特征更应该关注鲁棒性；小平移会使feature map差异巨大，tracker无法处理大量有差异的正样本，浅层特征更应该关注准确性。

深度特征和浅层特征的区别对待，论文中就用了Data Augmentation和Label Function两种方法，以ResNet-50 + ECO为例，加入数据增强Aug提升5.3%，加入宽标签函数sigma提升4.3%，两者结合提升5.8%，非常明显，证明深度特征可以受益于数据增强和宽标签函数。

![v2-fb5df150c8266ff3db603597499f6382_hd.jpg][]

不同CNN架构下ECO与ECO+的对比，ECO+提升明显，测试的CNN架构包括最常用的VGG-M，更好的GoogLeNet和更好更深的ResNet-50：

![v2-06740775bfefc0006a0a454aab0418ae_hd.jpg][]

## **具体方法——合** ##

**预测质量评估Prediction Quality Measure**：响应图能反映目标定位的准确性和鲁棒性，准确性与预测目标周围的响应锐利程度有关，主峰越尖表示准确性越高；鲁棒性与主峰到干扰峰(次峰)的间隔有关，主峰到次峰的距离越大表示鲁棒性越高。论文提出了能同时反映准确性和鲁棒性的响应图质量评估方法：

![v2-341c99aaca0a8b2980c20318adaa38db_hd.jpg][]

![v2-a69e7f64c55aea29cf6589fcc0e3dfde_hd.jpg][]

t表示响应位置，y(t)表示响应值，t\*是主峰，t是干扰峰。分子部分表示尖锐程度，主峰与次峰峰值差越大质量越高；分母部分表示位置间隔，delta是二次连续可微函数，间隔很近是0，间隔很远是1。论文分别就t\*和t位置接近和远离两种情况做了分析，都表明这个质量评估都可以同时反映准确性和鲁棒性。

**自适应融合的目标定位**：ys和yd分别表示浅层和深度特征的响应分数，加权融合：

![v2-f5fbac3dabff4da0b462eb7402c9d0b9_hd.jpg][]

基于前面提出的预测质量评估方法，以最大化预测质量为目标，联合优化加权系数beta和目标状态t\*，最小化loss：

![v2-66c2e357b4659a95208729d71106628c_hd.jpg][]

加入正则项，引入松弛变量：

![v2-fdab4a4e30a356c1b5c16f7b4ddd0ea6_hd.jpg][]

求解该问题，采样有限组候选状态，每个都是三个变量的QP问题，计算量增加很少。

实验对比ECO响应图融合方法、固定权重求和的融合方法和论文提出的自适应融合方法对比：

![v2-a7861fdbeda1a2a1bd87dcc05b9ce02f_hd.jpg][]

![v2-ea5cdb756432a45f1de2ca783b42ad36_hd.jpg][]

自适应融合效果最好，深度特征部分的权重在形变和模糊时变高，与预期一致。

![v2-49d8c0b2ddc247c025da623130ffcc32_hd.jpg][]

## **实验结果** ##

所有超参数都是在OTB-2015的23个难例子集构成的验证集OTB-H上调参得到的，其余73个较简单的序列构成OTB-E，其他所有实验用固定参数，没有调参和过拟合。

在NFS, Temple128和UAV123上的结果，都是最好：

![v2-e9422dcf61742bec67b955b0853fd253_hd.jpg][]

![v2-0fb444252b439b534199217a5899e0b5_hd.jpg][]

在VOT-2017上的结果，对比了榜单前十，超过最好的LSART 17%，LSART发表在CVPR 2018，是目前所能看到的VOT-2017最好结果，大部分CVPR 2018论文没有跑VOT-2017：

![v2-e7288ca6db073574e6acfcec61916b22_hd.jpg][]

在VOT-2016上的结果，对比了所有已发表结果，包括所有SOTA结果，甚至目前能看到的CVPR 2018的SA-Siam, VITAL, LSART, FlowTrack，超过目前最好结果ECO 18%：

![v2-736188b10102d9b5bbc24ef7670610a6_hd.jpg][]

最后是OTB-2017剩余测试集OTB-E的结果：

![v2-db5205ec15c988535d8c8e031b1e2a00_hd.jpg][]

## **总结** ##

ECO+从研究deep tracker为什么无法从更好更深的CNN获益这一问题开始，研究发现深度特征和浅层特征表现出截然不同的特性，先分后合的处理方法：

*  **分**，区别对待，深度特征负责鲁棒性，浅层特征负责准确性，数据增强和宽标签函数对深度特征提升巨大
 *  **合**，自适应融合，提出质量评估方法，以最大化融合质量为目标函数，最优化方法同时获得深度特征的鲁棒性和浅层特征的准确性

ECO+基本跑了所有的测试库，全都做到了最好结果，比较了包括CVPR 2018在内的所有SOTA结果，无疑这是一篇刷新目标跟踪新高度的论文，期待ECO+在VOT-2018的表现。

目前没看到代码，有几个疑问点：

1.  速度方面没有提，论文仅提了质量评估和自适应融合部分计算增加不大，但数据增强会严重增加提取深度特征的负担，每个扩展样本都要一次CNN forword，应该会非常非常慢，不知道有没有做相应优化
2.  ECO+可以从更好更深的CNN获益，最多测试了ResNet-50，不知道更深更好的ResNet-100，ResNet-152甚至Inception-ResNetV2会不会带来进一步提升
3.  深度特征最大的问题是空间分辨率太小，是否可以自己搭个stride=4或stride=1的CNN，保持深层激活图的feature map不要太小，但通道数适当减少以保证速度，是否更有利于检测和跟踪问题

没有代码加强行翻译，如有理解偏差欢迎指出

## **END** ##

[https_zhuanlan.zhihu.com_p_36463844]: https://zhuanlan.zhihu.com/p/36463844
[https_arxiv.org_pdf_1804.06833.pdf]: https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1804.06833.pdf
[v2-79d73b34b00fc9a44d2a4f53dbbbc945_hd.jpg]: /images/20220517/d292c41509994646a5e58732c21a83c0.png
[v2-71091fdd0a708e2aaedde1a5c69a6848_hd.jpg]: /images/20220517/6ce97f66e8c944ed8b49282c2414d78d.png
[v2-fb5df150c8266ff3db603597499f6382_hd.jpg]: /images/20220517/0b3404ec8ba54ee1a264a0371ae46664.png
[v2-06740775bfefc0006a0a454aab0418ae_hd.jpg]: /images/20220517/25bb8590314040a58748ed08f091b9ed.png
[v2-341c99aaca0a8b2980c20318adaa38db_hd.jpg]: /images/20220517/e9370da1dbc648a289de4b5f14d24d49.png
[v2-a69e7f64c55aea29cf6589fcc0e3dfde_hd.jpg]: /images/20220517/fd76cbc7dba64579a7db06b4723b0541.png
[v2-f5fbac3dabff4da0b462eb7402c9d0b9_hd.jpg]: /images/20220517/b5743f8719a543719d04daa7dfc8dccc.png
[v2-66c2e357b4659a95208729d71106628c_hd.jpg]: /images/20220517/1cf3a6ef9c3a467dabcfa9970d0c57fd.png
[v2-fdab4a4e30a356c1b5c16f7b4ddd0ea6_hd.jpg]: /images/20220517/0ca199db950f425d9c2583d36bb4623a.png
[v2-a7861fdbeda1a2a1bd87dcc05b9ce02f_hd.jpg]: /images/20220517/b90b3631aa284ceabb82193c50a20e2c.png
[v2-ea5cdb756432a45f1de2ca783b42ad36_hd.jpg]: /images/20220517/c4bdf58cadf04019a338a9028bedda3a.png
[v2-49d8c0b2ddc247c025da623130ffcc32_hd.jpg]: /images/20220517/f920eb09e8714cea9a743e886a64f9d4.png
[v2-e9422dcf61742bec67b955b0853fd253_hd.jpg]: /images/20220517/3e483256aa8c4017a46b61600719f259.png
[v2-0fb444252b439b534199217a5899e0b5_hd.jpg]: /images/20220517/c595a28e06d44e0295e17f1bd12be74d.png
[v2-e7288ca6db073574e6acfcec61916b22_hd.jpg]: /images/20220517/f716a8b5cbae4e0ea48422ec9620dbdd.png
[v2-736188b10102d9b5bbc24ef7670610a6_hd.jpg]: /images/20220517/6807572e813f40b4aa854a65d48c588b.png
[v2-db5205ec15c988535d8c8e031b1e2a00_hd.jpg]: /images/20220517/907ce6c32a1b457a8b58af657de628d1.png