Cross-Modality Person Re-Identification with Generative Adversarial Training--阅读

ゝ一纸荒年。 2022-03-29 11:37 153阅读 0赞

[论文链接，点击此处][Link 1]

## 提出背景 ##

1.  真实场景少
2.  夜晚监控当中的红外场景

## 论文内容 ##

针对真实场景和红外场景，作者提出了

1.  cmGAN网络，是端到端的，以 DCNN为基本框架
2.  混合loss，是将 identification loss 和cross-modality triplet loss结合了，目的是将内部识别模糊的类最小化，跨模态相似的类间距最大化

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70]

\[ -1 \] **DCNN**作为产生器，产生RGB 和IR images的 modality-invariant rep-resentation，这个产生器高级监督和优化两个loss（identification loss 和cross-modality triplet loss）

*  identification loss　将内部类分离开
 *  cross-modality triplet loss 将RGB 和IR间距最小化（如上图featureEmbedding第一个）
 *  混合loss, 是将两者结合的，具体公式如下：  
    ![在这里插入图片描述][20190108164111865.png]

\[ -2 \] **Discriminator**作为模态分类器，其中 modality classifier是三层前馈网络，交叉熵作为对抗loss。ID Prediction是 2层全连接。  
\[ -3 \] **Generator**输出是 probability distribution of person identifications，也就是 **Discriminator**的输入，它产生Classification loss  
\[ -4 \] **Generator and Discriminator**再互相博弈，博弈方法是minimax game，来学习RGB 和IR的discriminative common representation  
![在这里插入图片描述][20190108171129808.png]  
这里的公式（7）（8）为 图最终三个loss的交叉结果—Adversarial Learning。其中公式参数 Ldis是Classification loss，v 是RGB模态，I 是IR 模态

--------------------

## 数据集 ##

SYSU :6个camera 1个exp标签  
其中 cam3 cam6 是红外场景IR，cam1 cam2 cam4 cam5 是真实场景RGB  
491 个person  
28,7628张RGB  
1，5792张IR  
拆分成  
训练集3，2451张  
测试集27,0969张  
![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 1][]  
分别对应论文  
cam1 --room1(indoor)  
cam2–room2(indoor)  
cam3–room2(indoor)–红外的  
cam4–Gate  
cam5-- Garden  
cam6–passage  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 2]

## 实验结果 ##

<table> 
 <thead> 
  <tr> 
   <th>all search</th> 
   <th>mAP</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>sigle-shot</td> 
   <td>27.80</td> 
  </tr> 
  <tr> 
   <td>Multi-shot</td> 
   <td>22.27</td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <thead> 
  <tr> 
   <th>indoor search</th> 
   <th>mAP</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>sigle-shot</td> 
   <td>42.19</td> 
  </tr> 
  <tr> 
   <td>Multi-shot</td> 
   <td>32.76</td> 
  </tr> 
 </tbody> 
</table>

[Link 1]: https://www.researchgate.net/publication/326203909_Cross-Modality_Person_Re-Identification_with_Generative_Adversarial_Training
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70]: /images/20220329/7b047012231c43bbbdfabb2f22da0f5c.png
[20190108164111865.png]: /images/20220329/5f35be8c6397464e8d6dc27ba9e277fe.png
[20190108171129808.png]: /images/20220329/b796a0234bc14c8ca89eb1e173c62c53.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 1]: /images/20220329/72272eaef5b14280b1c064034bafee0a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L1dKX01laU1laQ_size_16_color_FFFFFF_t_70 2]: /images/20220329/893c526975074678b068a241e9a28b5b.png