Transformer Tracking

迈不过友情╰ 2022-09-08 03:56 197阅读 0赞

Xin Chen, Bin Yan, Jiawen Zhu, Dong Wang, Xiaoyun Yang and Huchuan Lu  
1School of Information and Communication Engineering, Dalian University of Technology, China  
2Peng Cheng Laboratory Remark AI

CVPR 2021

# 摘要： #

Correlation acts 在跟踪领域起着关键性作用，尤其是在最近流行的基于Siamese孪生网络的跟踪器。correlation operation是考虑模板与搜索区域之间的相似性的一个简单融合。然而，correlation operation本身是一个局部线性匹配过程，导致语义信息丢失，容易陷入局部最优，这可能是设计高精度跟踪算法的瓶颈。有没有比相关性（correlation）更好的特征融合方法？为了解决这个问题，受Transformer的启发，本文提出一种新的基于注意力的特征聚合网络，仅使用注意力，有效地聚合了模板和搜索区域的特征。具体而言，提出的方法包括基于self-attention的ego-context augment module模块和基于cross-attention的a cross-feature augment module。最后，提出了基于Siamese-like feature extraction backbone、设计的基于注意力的融合机制、和the classification and regression head（？？）的Transformer 跟踪方法（命名TransT）。

# 1.引言 #

（1）对于大多数流行的跟踪器（如SiamFC、SiamRPN、ATOM），correlation在将模板和目标信息集成到ROI中起这关键作用。然而，correlation操作本身是一个线性匹配过程，会导致语义信息丢失，这会限制跟踪器模板和ROI之间复杂的非线性交互。因此，之前的模型必须通过引入fashion structure、使用的额外的模块，设计有效的在线更新等来提高非线性表示能力。这自然的就引出一个问题：与没有比correlation更好的特征融合方法？

在本文中，受Transformer核心思想的启发，通过设计一个基于注意力的特征融合网络，提出一个新颖的Transformer跟踪算法（TransT）来解决上述问题。提出的特征聚合网络包括基于自注意力的ego-context augment module和基于cross-attention的cross-feature augment module。这种融合机制有效地集成了模板和ROI特征，产生了比correlation更多的语义特征图。

# 2.贡献： #

（1）提出了一个新颖的Transformer跟踪框架，包含特征提取，Transformer-like fusion和头预测模块，Transformer-like fusion模块仅使用注意力，没有使用correlation，结合了模板和搜索区域的特征。

（2）设计了基于具有自注意力的an ego-context augment module和具有cross-attention的a cross-feature augment module的特征聚合网络。和基于correlation的特征聚合相比，本文提出的基于注意力的方法自适应得专注于有用的信息，比如边缘和相似目标等，并在距离特征之间建立关联，使得跟踪器获得更好的分类和回归结果。

3.相关工作

（1）基于孪生网络的方法近年来在跟踪领域颇受欢迎。主流的跟踪体系架构可以分为两部分：

*  一部分是用来提取图像特征的主干网络
 *  另一部分是由基于correlation的网络计算模板和搜索区域之间的相似性

当前，许多流行的跟踪器依赖于correlation操作，但是忽略了两个问题：

1.  **基于correlation的网络没有充分利用全局环境，容易陷入局部最优解。**
2.  **通**过correlation，语义信息在一定程度上丢失，这可能导致对目标边界的不准确预测。

因此，本文中设计了一种基于注意力的Transformer变体结构，以取代基于correlation的网络，来进行特征融合。

（2）Transformer和Attention：

Transformer首次提出用于机器翻译。简而言之Transformer是一种借助于注意力的编码器和解码器，将一个序列转变为另一个序列的结构。注意力机制关注输入序列，并在每一步决定序列的哪些其他部分是重要的。因此，有助于从输入序列中捕获全局信息。Transformer已经在许多顺序任务（自然语言处理、语音处理和计算机视觉）中取代了递归神经网络（R-CNN）,并逐渐扩展到处理非顺序任务。

本文试图将Transformer结构引入跟踪领域，但不直接使用Transformer的编码器-解码器结构，而是采用Transformer的核心思想，利用注意力机制设计了 ego-context augment (ECA)模块和 cross-feature augment (CFA) 模块。ECA和FCA的集成侧重于模板和搜索区域之间的特征融合，而不是仅从一幅图像中提取信息。这种设计理想更适合于目标跟踪。**（可以试试RGBT，从两种模态中提取信息。）**

# 3.方法 #

提出Transformer跟踪方法，TransT。TransT由三部分组成：主干网络，特征融合网络和预测头。主干网络分别提取模板和搜索区域的特征。然后，利用所提出的特征融合网络对特征进行增强和融合。最后，预测头对增强特征执行二分类和包围盒回归，来生成跟踪结构。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_38_color_FFFFFF_t_70_g_se_x_16][]

## 3.1整体结构 ##

### 3.1.1 特征提取 ###

主干网络使用Siamese网络，输入分别为模板图像块z和搜索区域x图像块。模板块是第一帧中以目标的中心展开的两倍边长，包含目标的外观信息以及局部周围环境。搜索区域是上一帧中目标中心坐标扩展到边长的四倍，搜索区域通常覆盖目标可能的移动范围。搜索区域和模板被重塑为正方形，然后送入主干网络进行处理。使用resnet50的修改版本用于提取特征。确切地说，去除了resnet50的最后一阶段，采用第四阶段的输出作为最终的输出。还将第四阶段的下采用卷积步长由2设置为1来获得更大的特征分辨率。同时，还修改了第四阶段中3x3的卷积修改为步长为2的空洞卷积来增大感受野。主干部分主要用来处理搜索区域和模板区域，以此获得他们的特征图。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_9_color_FFFFFF_t_70_g_se_x_16][] ![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_13_color_FFFFFF_t_70_g_se_x_16][]

### 3.1.2 特征融合网络 ###

设计了一个特征融合网络来有效地融合特征![20210830145624781.png][]和![20210830145638757.png][]，首先，使用1x1的降低![20210830145624781.png][]和![20210830145638757.png][]特征通道的维度，获得两个低维的特征图![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_10_color_FFFFFF_t_70_g_se_x_16][]，在实验中使用d = 256，由于基于注意力的特征融合网络将一组特征向量作为输入，将![20210830153757882.png][]和![20210830153810965.png][]在空间维度上进行平面化，得到![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_9_color_FFFFFF_t_70_g_se_x_16 1][]，![20210830155701677.png][]和![20210830155710563.png][]可以看作是长度为d的特征向量集。如图所示，特征融合网络分别以 ![20210830155701677.png][]和![20210830155710563.png][] 作为模板分支和搜索区域分支。

首先，两个 **two ego-context augment (ECA)**增强模块通过多头自注意机制（multi-head self-attention）自适应地专注于有用的语义上下文，来增强特征表示。然后，**cross-feature augment (CFA)** 模块同时接受各自分支和另一个分支的特征图，并且通过多头交叉注意（multi-head cross-attention）融合这两种特征图。通过这种方式，两个ECA和两个CFA形成一个特征融合层。融合层重复N次，然后再加一个CFA融合两个分支的特征图，解码得到特征图![20210831160436890.png][]，这里设置为N为4次。

### 3.1.3 预测头模块（Prediction Head Network.） ###

预测头由一个分类分支和一个回归分支组成，其中每个分支是一个三层感知器（a three-layer perceptron with hidden dimension d and a ReLU activation function）。对于由特征融合网络生成的特征图![2021083116315874.png][]来说，head对对每个向量来进行预测，获得![20210831185729789.png][]前景和背景的分类结果以及![20210831185827529.png][]归一化坐标对于搜素区域大小，本文的跟踪器直接预测归一化后的坐标。

## 3.2 Ego-Context Augment and Cross-Feature Augment Modules ##

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_19_color_FFFFFF_t_70_g_se_x_16][]

### 3.2.1 Multi-head Attention ###

注意力是设计特征融合网络的基本模块。

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_18_color_FFFFFF_t_70_g_se_x_16][]

Transformer一文中写道：将注意机制扩展到多个head，使该机制考虑不同注意力分布，使得模型关注不同方面的信息。多头注意力机制公式如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_16_color_FFFFFF_t_70_g_se_x_16][]

### 3.2.2 Ego-Context Augment (ECA) ###

ECA利用残差形式的多头自注意自适应地集成来自特征图上不同位置的信息。注意力机制没有能力区分输入特征序列的位置信息。因此，对于输入![20210901104524137.png][]，引入空间位置编码过程。使用正弦函数来生成空间位置编码。最后，ECA机制可以总结为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_16_color_FFFFFF_t_70_g_se_x_16 1][]

### 3.2.3 Cross-Feature Augment (CFA) ###

CFA采用残差的形式，利用多头交叉注意融合两个输入的特征向量。 类似于ECA，CFA也使用了空间位置编码。此外，采用FFA模块增强模型的拟合能力，该模型是一个全连接的前馈网络，由两个线性变换组成，中间有一个RELU，即：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_12_color_FFFFFF_t_70_g_se_x_16][]

W和b代表权重矩阵和基向量，下标代表不同的层。因此，CFA机制可以总结为：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_14_color_FFFFFF_t_70_g_se_x_16][]

其中，![20210901145453248.png][]是模块分支的输入，![20210901145524338.png][]是对于![20210901145546549.png][]的空间位置的编码。![20210901145609620.png][]是另一个分支的输入，![20210901145639858.png][]是对于![20210901151337876.png][]的坐标的空间编码。![20210901151419225.png][]是CFA的输出。根据公式（6），CFA根据![20210901151540375.png][]之间的多个比例计算注意力图，然后根据注意力图重新加权![20210901151634349.png][]，并将其添加到![20210901151657942.png][]，以增强特征图的表示能力。‘

### 3.2.4 What does attention want to see? ###

为了探索注意模块在本文的框架中是如何工作的，本文将所有注意力模块的注意力图进行可视化，如图所示：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_14_color_FFFFFF_t_70_g_se_x_16 1][]

## 3.3 训练损失 ##

预测头接收到![20210901155420880.png][]特征向量，输出![20210901160046981.png][]二分类和回归结果。**对于特征向量的预测，选择真值边界框中像素对应的特征向量作为正样本，剩下的为负样本。所有的样本都对分类损失有贡献，只有正样本对回归损失有贡献。**为了减少正负样本的不均衡，将负样本产生的损失降低了16倍，采用标准的二分类交叉熵损失：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_13_color_FFFFFF_t_70_g_se_x_16 1][]

对于回归，采用![2021090117041092.png][]![20210901170428887.png][]和![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_8_color_FFFFFF_t_70_g_se_x_16][]的线性联合。

回归损失计算如下：

![watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_14_color_FFFFFF_t_70_g_se_x_16 2][]

其中yj= 1为正样本，bj为第j个预测边界框，ˆb为归一化的ground-truth边界框。λG= 2和λ1= 5是实验中的正则化参数。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_38_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/0c7827e753f7486c854a645b9002e193.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_9_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/20210830145315579.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg==,size_9,color_FFFFFF,t_70,g_se,x_16
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_13_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/e9d8b094be3045c282103dc446e557fa.png
[20210830145624781.png]: https://img-blog.csdnimg.cn/20210830145624781.png
[20210830145638757.png]: https://img-blog.csdnimg.cn/20210830145638757.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_10_color_FFFFFF_t_70_g_se_x_16]: https://img-blog.csdnimg.cn/2021083015264269.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg==,size_10,color_FFFFFF,t_70,g_se,x_16
[20210830153757882.png]: https://img-blog.csdnimg.cn/20210830153757882.png
[20210830153810965.png]: https://img-blog.csdnimg.cn/20210830153810965.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_9_color_FFFFFF_t_70_g_se_x_16 1]: https://img-blog.csdnimg.cn/20210830153846940.png?x-oss-process=image/watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg==,size_9,color_FFFFFF,t_70,g_se,x_16
[20210830155701677.png]: https://img-blog.csdnimg.cn/20210830155701677.png
[20210830155710563.png]: /images/20220829/e43ce0891b974fa78a51689f1fb07faf.png
[20210831160436890.png]: /images/20220829/181e7b22d86b4ca58a15d3aed08b245a.png
[2021083116315874.png]: https://img-blog.csdnimg.cn/2021083116315874.png
[20210831185729789.png]: https://img-blog.csdnimg.cn/20210831185729789.png
[20210831185827529.png]: /images/20220829/1d5315917ff44584b00d19131634adcd.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_19_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/1afae082da3b42568c36b675373a29a4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_18_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/377a122143db4b4fb5fe1a7d23b0d36a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_16_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/70d180159f8f42f9bc8ff87863b5455a.png
[20210901104524137.png]: /images/20220829/e230c6bfdd0346b791713cad4bb875aa.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_16_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/24ac1ad460ad4e3d90387db102c9580a.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_12_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/e34ef92a48c84f51a0f2ae58f3abe661.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_14_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/835dbf8d627b492598fff073dec87803.png
[20210901145453248.png]: https://img-blog.csdnimg.cn/20210901145453248.png
[20210901145524338.png]: https://img-blog.csdnimg.cn/20210901145524338.png
[20210901145546549.png]: https://img-blog.csdnimg.cn/20210901145546549.png
[20210901145609620.png]: https://img-blog.csdnimg.cn/20210901145609620.png
[20210901145639858.png]: https://img-blog.csdnimg.cn/20210901145639858.png
[20210901151337876.png]: https://img-blog.csdnimg.cn/20210901151337876.png
[20210901151419225.png]: https://img-blog.csdnimg.cn/20210901151419225.png
[20210901151540375.png]: https://img-blog.csdnimg.cn/20210901151540375.png
[20210901151634349.png]: https://img-blog.csdnimg.cn/20210901151634349.png
[20210901151657942.png]: /images/20220829/f42949c0b86a45f08fad92ce1925d309.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_14_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/687fbe39ad9548e7bbc5ed27355e4184.png
[20210901155420880.png]: https://img-blog.csdnimg.cn/20210901155420880.png
[20210901160046981.png]: /images/20220829/06944a8b1a354addb33c26820076a72e.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_13_color_FFFFFF_t_70_g_se_x_16 1]: /images/20220829/8f30a2c4d0f649cb9a7a1e97d80b1c97.png
[2021090117041092.png]: https://img-blog.csdnimg.cn/2021090117041092.png
[20210901170428887.png]: https://img-blog.csdnimg.cn/20210901170428887.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_8_color_FFFFFF_t_70_g_se_x_16]: /images/20220829/9893f89667cd47638a8babcca9bf38c4.png
[watermark_type_ZHJvaWRzYW5zZmFsbGJhY2s_shadow_50_text_Q1NETiBA6Zi_5peL6KaB5q-V5Liafg_size_14_color_FFFFFF_t_70_g_se_x_16 2]: /images/20220829/44fd980a2bc64d528f645dc395cdff24.png