SofGAN：更逼真可控的肖像生成器

布满荆棘的人生 2022-09-08 00:29 175阅读 0赞

### 点击上方“**机器学习与生成对抗网络**”，关注星标  获取有趣、好玩的前沿干货！ ###

来源：arXiv  编辑：新智元 Priscilla 好困

##### 【新智元导读】上海科技大学和加州大学圣地亚哥分校的研究人员提出了一种新的人像生成系统，不仅能够单独控制人像中的不同属性，还能让用户从无到有即时创建出一个彩色的人像。 #####

大家都知道，用GAN可以进行人像的生成。

但在GAN学习的潜在空间里，人的姿势、形状和纹理样式等不同属性通常都是结合在一起的。

那么想控制某个特定部位的属性怎么办？

![acdc62eca5d9b868078bfd7653b876a4.png][]

为此，来自上海科技大学和加州大学圣地亚哥分校的研究团队就提出了名为「SofGAN」的人像生成系统。

![f3b4d248eb757f4bb5fcfd98e12c0581.png][]

论文地址：https://arxiv.org/pdf/2007.03780.pdf

项目地址：https://apchenstu.github.io/sofgan/

这个系统将人像的潜在空间解耦为两个子空间：几何空间和纹理空间。

从两个子空间采样的潜在代码分别馈送到两个网络分支：一个生成具有规范姿势的肖像的3D几何图形，另一个生成纹理。

对齐的3D几何还带有语义部分分割。

编码为语义占用字段SOF，能够在任意视图上渲染一致的2D语义分割图。

然后将其与生成的纹理图融合，使用语义实例（SIW）模块，处理为人像照片。

也就是说，这个系统可以单独控制人像的头发、眼睛、眼镜、皱纹和肤色，生成高质量肖像图像。

![9b7e77019acb175216ccdb047ff27d26.gif][]

这个方法还可以推广到各种应用中，例如制作外观一致的面部动画和动态造型。

# 解耦表征 #

这项工作的主要贡献是「解开」已学到的面部特征，例如姿势和纹理，这样SofGAN也可以生成与不正对相机的视角的图像。

![4030137af49aa864e991ad0cfd416f1f.png][]

作者从图像渲染系统中吸取灵感，提出了将图像场景解耦为几何空间和纹理空间的方法。

同时将传统的占用字段扩展到语义占用字段（SOF）以模拟肖像几何。

SOF描述了每个空间点在k语义类上的概率分布，包括头发、脸、脖子、衣服等。

用SofGAN合成图像步骤：

1.  对SOF进行光线跟踪，从给定的用户特定视点获得2D分割图。
2.  采用GAN生成器，从纹理空间采样的样式代码对每个语义区域进行纹理化。
3.  提出语义实例（SIW）纹理模块支持动态和区域样式控制。

![693bfa1d8f3645fd8c1e814293807aec.png][]

解耦表征能够显式控制姿势、形状和纹理样式。

从原图像开始，在第二列的图像中改变了人物的头部姿势、面部轮廓和纹理样式。

而第三列则是从不完整的segmap中生成交互式图像，用户能够逐部分添加到segmap，并即时生成彩色图像。

![ebeaf4ba16a8b1083f1215f7b3184e8a.png][]

SIW-StyleGAN的特点之一就是语义级别的样式控制。

也就是能够根据指定的语义分割图进行区域样式调整，单独控制每个语义区域的样式。

![662b24bf5d08f30081c24eb33f6c7b5b.gif][]

SofGAN还可以根据全局、背景、肤色、头发等语义区域生成不同的图像。

![5f56fb14a3a036f3556dc8ddeabc2e8f.gif][]

SofGAN框架可以通过改变相机角度，从几何样本或真实图像中生成自由视点的人像图像。

SOF使用多视图语义分割图进行训练，视图之间的几何投影约束在SOF中编码，这样就能够在改变视点时保持人像的形状和表情一致。

![00425cd931013d58aa0f4fce71ab13e7.gif][]

此外，用户还能从无到有，用户逐一将各部分添加到segmap，即时生成彩色图像。

比如用哈利波特演员Daniel Radcliffe作为跟踪模板画一个人出来。

![a4476193ed32d6ad8ebf176cba523d92.gif][]

当然，这些都只是生成了静态的图像。

SofGAN还能生成动态图像。

![01af4230ee531b9385ef243436e5fcf8.gif][]

看上去也是十分自然，非常逼真。

# 效果怎么样？ #

经过三天训练，1500次迭代，SofGAN生成的图像与英伟达的Spade和PixPixHD以及SEAN等方法相比，从单个分割图中获得的图像更逼真。

![f307445af58e08643825a5af3fc570e9.png][]

SofGAN能够生成逼真图像，因为它有以下三个特点：

1. 对单个属性进行显示控制，其余属性保持不变。

因此SofGAN可以支持相应的渲染效果，比如自由视点渲染、全局和区域样式调整、面部变形、表情编辑等。

![838f0303ff3253ad41eac42a0101279f.png][]

2. 训练未配对的数据。

与之前需要使用配对/对其RGB和分割图像进行训练的方法不同，SIW模块可以使用未配对的真实世界图像和合成语义分割图直接进行训练。

3. 按需和交互式生成。

SofGAN生成器的定制架构能够从不准确甚至不完整的分割图中合成逼真的人像。因此，用户能够从一个界面像Photoshop的工具，为交互式肖像设计手绘语义轮廓。

![74d4a9155b32f48c7173a457037e8c02.png][]

而综合实验表明，在CelebA和FFHQ数据集上，SofGAN图像生成器都达到了SOTA FID和LPISP分数，可用于广泛的综合任务。

参考资料：

https://arxiv.org/pdf/2007.03780.pdf

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![80d46283acb6c5e6b43d474821b4de60.png][]

[acdc62eca5d9b868078bfd7653b876a4.png]: /images/20220829/32f15c2781e24d42b26f936724f8ad2c.png
[f3b4d248eb757f4bb5fcfd98e12c0581.png]: /images/20220829/86b943bb3e5449168635be049573b143.png
[9b7e77019acb175216ccdb047ff27d26.gif]: /images/20220829/88ba7a53a13a433397a57ff31722d9bc.png
[4030137af49aa864e991ad0cfd416f1f.png]: /images/20220829/19de49df614c4e82b1b72e847665af85.png
[693bfa1d8f3645fd8c1e814293807aec.png]: /images/20220829/a9870a560045481d9ff6b4a97b605419.png
[ebeaf4ba16a8b1083f1215f7b3184e8a.png]: /images/20220829/69d4693508e84eb1b06e886ecee85afb.png
[662b24bf5d08f30081c24eb33f6c7b5b.gif]: /images/20220829/dc64feb94b074f81b7aee41e3a1d3ad0.png
[5f56fb14a3a036f3556dc8ddeabc2e8f.gif]: /images/20220829/bb661819e7ff4de5b466fa0158ce7be9.png
[00425cd931013d58aa0f4fce71ab13e7.gif]: /images/20220829/127eec9746b54d008c94bef8ad941a05.png
[a4476193ed32d6ad8ebf176cba523d92.gif]: /images/20220829/132f0f81ed8a40c8959fdd6a1860c508.png
[01af4230ee531b9385ef243436e5fcf8.gif]: /images/20220829/dd6484d037c14a6fa8a5976775c4c664.png
[f307445af58e08643825a5af3fc570e9.png]: /images/20220829/cd6c73d955f2479b9c111613690c2b74.png
[838f0303ff3253ad41eac42a0101279f.png]: /images/20220829/d43c212695bb49c8ac888ce2f55b57df.png
[74d4a9155b32f48c7173a457037e8c02.png]: /images/20220829/0aa0ec60d49e439fb20cfa0be87808b9.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[80d46283acb6c5e6b43d474821b4de60.png]: /images/20220829/24317f26a59d45b58808390ffe51e9d9.png