【论文笔记】Joint Discriminative and Generative Learning for Person Re-identification

桃扇骨 2022-01-18 22:17 203阅读 0赞

**Joint Discriminative and Generative Learning for Person Re-identification**

[https://github.com/layumi/Person\_reID\_baseline\_pytorch][https_github.com_layumi_Person_reID_baseline_pytorch]

https://github.com/NVlabs/DG-Net

**Abstract**

在不同摄像机下的类内变化带来挑战

最近，用生成模型进行训练数据增强，进而增强变化图像的不变性

问题：现有方法的生成pipeline与reid判别性学习阶段的相分离，re-id模型通常以直接的方式训练生成的数据

本文：

联合学习框架

我们提出了一个联合学习框架，它将reid学习和数据生成端到端地结合在一起。我们的模型涉及一个生成模块，它将每个人分别编码为外观代码和结构代码，以及一个与生成模块共享外观编码器的判别模块。通过交换外观或结构代码，生成模块能够生成高质量的交叉ID合成图像，在线反馈到外观编码器，用于改进判别模块。

结果：

与没有使用生成数据的baseline相比有很大的改进，并且在一些benchmark 数据集上性能最优

**Introduction**

不同摄像机下捕获的照片通常因为背景、视点、行人姿态等造成类内变化。因此设计和学习能够鲁棒对抗类内变化的表示是行人reid 的主要目标

CNN在reid中的使用，现有的最先进的方法将reid视为深度度量学习问题，为进一步减少类内变化带来的影响，大多数现有的方法采用基于部分匹配或者集合来对齐补偿变化

GAN用来做数据增强，但是他们的问题是将数据生成和reid 模型分离开来，因此，生成模型也许不能很好的满足reid任务，限制了从生成数据中进行学习

鉴于上述研究，我们提出了一个学习框架，在一个称为DG-Net的统一网络中将判别性和生成性学习联合起来。我们实现这一目标的策略是引入一个生成模块，编码器将每个行人图像分解为两个潜在空间：一个外观空间，主要编码外观和其他身份相关的语义;以及包含几何和位置相关结构信息以及其他附加变化的结构空间。我们将空间中的编码特征称为“代码”。表1总结了由两个潜在空间捕获的属性。外观空间编码器还与判别模块共享，用作reid学习主干。这种设计导致了一个统一的框架，它包含了生成和判别模块之间的这些相互作用：（1）生成模块产生合成图像，用于在线改进外观编码器; （2）编码器反过来影响生成模块，改进了外观编码; （3）在共享外观编码器的情况下，两个模块共同优化

![20190611105500212.png][]

我们将图像生成表示为在两个图像之间切换外观或结构代码。 给定具有相同/不同身份的任何成对图像，人们能够通过操纵代码来生成逼真且多样的帧内/交叉ID组合图像。 Market-1501 \[53\]上的这种组合图像生成的一个例子如图1所示。我们对生成管道的设计没有只有现有身份的组合成分才会导致高保真度的产生，但也会产生实质性的多样性。 与无条件GAN \[17,56\]不同，我们的方法允许更可控的生成和更好的质量。 与姿势引导的代\[10,27,31\]不同，我们的方法不需要任何额外的辅助数据，但利用现有的数据集内姿势变化以及超出姿势的其他多样性。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70][]

这种生成模块设计专门用于我们的判别模块，以更好地利用生成的数据。对于一个行人图像，保持其外观代码并结合不同的结构代码，我们可以生成多个仍然保留衣服和鞋子的图像改变姿势，观点，背景等在图1的每一行中，这些图像对应于穿着不同人的相同服装。为了更好地捕获这些组合的交叉ID信息，我们通过动态软标签策略引入“主要特征学习”。或者，我们可以保留一个结构代码并结合不同的外观代码来产生各种图像，这些图像保持姿势，背景和一些身份相关的细节但改变衣服和鞋子。如图1的每列所示，这些图像形成了对穿着不同衣服和鞋子的同一个人的有趣模拟。这为进一步挖掘提供了机会独立于衣服的微妙身份属性，例如携带，头发，身体大小等。因此，我们提出补充的“细粒度特征挖掘”来学习其他微妙的身份属性。

据我们所知，这项工作提供了第一个框架，能够端到端地将判别和生成学习整合到一个统一的网络中，以供人员使用。 广泛的定性和定量实验表明，我们的图像生成与现有图像生成相比有利，更重要的是，我们的重新定位精度始终优于竞争算法几个基准的准确率

**Method**

如图2所示，DG-Net紧密耦合用于图像生成的生成模块和用于重新学习的辨别模块。 我们引入了两个图像映射：自我身份生成和跨身份生成，以合成高质量的图像，这些图像在线馈送到reid学习。 我们的判别模块涉及主要特征学习和细粒度特征挖掘，它们与生成模块共同设计，以更好地利用生成的数据。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1][]

我们的判别式reid学习模块通过共享外观编码器Ea嵌入在生成模块中。 黑色虚线表示结构编码器Es的输入图像灰色 红线表示生成的图像在线反馈给Ea。 在生成中强制执行两个目标模块：（b）通过相同的输入标识生成自身标识，以及（c）通过不同的输入标识生成交叉标识。（d）为了更好地利用生成的数据，重新学习涉及主要特征学习和细粒度特征挖掘 在

**Conclusion**

本文中，我们提出了一个联合学习框架，端到端的在统一网络中进行Reid学习和创建图像。 在判别模式和生成模块之间存在一个在线交互循环，以使两个任务互利。 我们的两个模块是共同设计的，旨在让重新学习更好地利用生成的数据，而不是简单地对它们进行培训。 三个基准测试的实验证明了我们的方法始终如一地为图像生成质量和重新准确性带来显着改进。

[https_github.com_layumi_Person_reID_baseline_pytorch]: https://github.com/layumi/Person_reID_baseline_pytorch
[20190611105500212.png]: /images/20220119/9170d2edcfb5468e97431473b263d269.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70]: /images/20220119/93326c20654e45ff991635bba5019f6a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80MjczMTI0MQ_size_16_color_FFFFFF_t_70 1]: /images/20220119/3764f536da0a4eb19490df19db673efe.png