【论文阅读】CVPR 2019 Oral | Progressive Pose Attention Transfer for Person Image Generation

快来打我* 2024-04-17 05:40 71阅读 0赞

## 项目地址： ##

[https://github.com/tengteng95/Pose-Transfer.git.][https_github.com_tengteng95_Pose-Transfer.git.]

### 论文地址： ###

[https://arxiv.org/abs/1904.03349\#][https_arxiv.org_abs_1904.03349]

### 论文简介： ###

该文介绍了一个开源的人体姿态迁移算法，基于**GAN（生成式对抗网络）**思想构建，实现的功能是——给定一幅含有人物的图片和一个目标姿态，可以将图片内人物转换成目标姿态的样子。目标姿态可以是从其他图片人物中计算得来（可以将一幅图片的人物转成另一图片内人物的姿态）。

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70][]

### 算法原理： ###

算法的输入包括：一幅给定图片Condition image（Pc），从该图片中使用已有的姿态估计算法Human Pose Estimator (HPE)

提取的姿态Condition Pose（Sc），以及目标姿态Target Pose（St）。

算法的输出是：生成图片。

作者提出了Progressive Pose Attention Transfer（PATN，渐进的姿态注意力迁移）模型。基于GAN思想构建算法。对于输入的人物图片和姿态，生成新的人体姿态图片和姿态。其中使用了两个判别器：纹理判别器、形状判别器，来判断生成器生成的人物图片和姿态是否真实。

姿态迁移是由生成器完成。下图是生成器的架构：

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 1][]

在PATN中含有多个Pose-Attentional Block，其作用是对输入的image pathway和pose pathway按照Pose Mask(Mt)，它引导网络将图片中人物的不同的部分按照目标姿态进行像素块迁移。之后，把最后一个Block中Image Pathway的数据经过解码网络，即得到了最终的生成图像。

### 实验结果： ###

作者在DeepFashion与Martket-1501数据集上进行了实验。在训练阶段，分别在这两个数据集上构建了263632和101966样本对。

分别进行了量化对比和主观评判（人来评价）。

得出该算法的优势有：

生成图像效果好、参数量少、计算效率高。

此外，用该算法可以对行人图片进行姿态迁移，为行人重识别生成训练图片。使用这种增广样本训练的行人重识别算法获得了显著的精度提升。

——————————————————————————————————————————————————

### 提升tips ： ###

需要学习GAN基础

需要学习pytorch

论文清晰易懂，层次分明，验证有力，配图详实而不冗余，好好跟人家学学！

[https_github.com_tengteng95_Pose-Transfer.git.]: https://github.com/tengteng95/Pose-Transfer.git.
[https_arxiv.org_abs_1904.03349]: https://arxiv.org/abs/1904.03349#
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/fb847aa1b3b24d7a8ce0de35ad27c26e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L20wXzM4MDY4MjI5_size_16_color_FFFFFF_t_70 1]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/e279bbe2e1954e0d936718cca217f980.png