【CVPR 2021】通过GAN提升人脸识别的遗留难题

约定不等于承诺〃 2023-01-16 09:40 143阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

### 公众号文章标题“提升”应该为“解决”。1  A 3D GAN for Improved Large-pose Facial Recognition ###

![cd5e887e2956fb5448ba5508f810aaac.png][]

*  基于端到端的深度卷积神经网络进行人脸识别，依赖于大型人脸数据集。这需要大量类别（不同人或者身份）的人脸图像，且对每个人都需要各种各样的图像，如此网络才能适应类内差异，增加鲁棒性。
 *  然而现实中很难获得这样的数据集，特别是那些包含不同姿势变化的数据集。生成对抗网络（GAN）由于具有生成逼真的合成图像的能力，因此提供了解决此问题的潜在方法。

![7e3099a9e2b38953600aec18dd7f1f5b.png][]

*  但最近的研究表明，将姿势与个人身份特征分离的方法效果并不好。本文尝试将3D可变形模型合并到GAN的生成器中，生成人脸，并在不影响个人身份辨识度的情况下操纵姿势、照明和表情。所生成的数据用在CFP和CPLFW数据集上，可增强人脸识别模型的性能。

![9888afa083ed05a9b7c2403ca9c11085.png][]

### 2 When Age-Invariant Face Recognition Meets Face Age Synthesis: A Multi-Task Learning Framework ###

![b3dac8973023c289e781718b257c5270.png][]

*  为了最大程度地减少年龄变化对人脸识别的影响，先前的工作有两种方案：一是通过最小化身份特征和年龄特征之间的相关性来提取与身份相关的辨识性特征（称为年龄不变的人脸识别age-invariant face recognition，AIFR）；二是通过转换不同年龄组的人脸到同一年龄组，称为人脸年龄生成（face age synthesis，FAS）；但是，前者缺乏用于模型解释的视觉结果，而后者则的生成效果可能有影响下游识别的伪影。
 *  本文提出一个统一的多任务框架MTLFace来共同处理人脸识别和生成任务，它可以学习与年龄不变的身份表征，同时完成人脸合成。具体来说，通过注意力机制将混合的人脸特征分解为两个不相关的部分（身份和年龄相关的特征），然后使用多任务训练和连续域自适应将这两个部分的相关性进行解耦。

![1196c6c6a7eef7fef627b45e9302ca71.png][]

*  其中，与实现组级FAS的常规one-hot编码相反，提出了一种新颖的以身份作为条件的模块来实现身份级别的FAS，并采用权重共享策略来改善合成人脸的年龄平滑度。
 *  此外，收集并发布带有年龄和性别标注的大型跨年龄人脸数据集，以推进AIFR和FAS的发展。在五个基准跨年龄数据集上进行的广泛实验表明，MTLFace性能优于现有的AIFR和FAS方法。https://github.com/Hzzone/MTLFace

![2377c8e26eb3c970a0221b4ab3ddd09a.png][]

**注：上述论文可于知识星球下载。**

![c47181d9936cf907b587a482450f236d.png][]

![2d42300721d228d7e495129c507d1f34.png][]

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]**

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![f24971e91ffa25006cf1e85563bee4ad.png][]

[cd5e887e2956fb5448ba5508f810aaac.png]: /images/20221022/d11731e13b9a4e3cade32baca9ae8367.png
[7e3099a9e2b38953600aec18dd7f1f5b.png]: /images/20221022/1d8bf689c00543d8a279a88c7c74df02.png
[9888afa083ed05a9b7c2403ca9c11085.png]: /images/20221022/d400c2be30e74d1ab3ab92b8df0d9721.png
[b3dac8973023c289e781718b257c5270.png]: /images/20221022/0aaf8ddfbcc2416492999923fd7dd5df.png
[1196c6c6a7eef7fef627b45e9302ca71.png]: /images/20221022/c1711425dd6742419166cd36ab36ea99.png
[2377c8e26eb3c970a0221b4ab3ddd09a.png]: /images/20221022/e3c65e51df044a1c865405652712c53f.png
[c47181d9936cf907b587a482450f236d.png]: /images/20221022/c2d2d9e85c784a94a564cc24550b9edc.png
[2d42300721d228d7e495129c507d1f34.png]: /images/20221022/ab244db8d2224661b36be1f43b9fc1f1.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[f24971e91ffa25006cf1e85563bee4ad.png]: /images/20221022/ab4852da6bbe45ac9af1f4f08ecc4636.png