GAN发型转换：让发型不再受Tony老师影响！

淩亂°似流年 2022-10-08 05:33 166阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

![e1e7a43b4ccf3f83f11009f5d46177e5.png][]

文章：新智元 来源：GitHub 编辑：小匀

理发总是差强人意？

醒醒吧！有些发型不适合你！

![0a97055b5b855bb449297a9998c029fa.png][]

![3a796928c9165d33ac59ea3e47dc85e4.png][]

如果能在理发前，把这几个发型「试用」就好了。

![c71b1caaa7255247fa67d05d0eec0cf8.png][]

Tony老师无法给你的，GAN给你。

最近，一个基于GAN的项目Barbershop火了！它不仅可以改变你的头发风格，还可以从多个图像实例中改变颜色。

![66234dbee3f31a4c478ee9f54c693b3d.png][]

重要的是，不同于一般的换头发AI，这次的效果让你的脸与新头发完美融合。

一头逼真的「假发」：发型、颜色任你选

把这三样东西交给算法，你就能看到自己的发型合不合适。

1 自己的照片；

2 一张你想拥有的发型的人的照片；

3 另一张你想尝试的头发颜色的照片（或同一张）

例如，我的原生发型是这样的：

![b50a18c38618c6f42b298aa5b53bc235.png][]

来试验一下别样的发型：

![6d726a4e2cae6b91fe32cf83f78fb776.gif][]

‍‍换个直发试试？‍

‍

![96624f8c862db77995ebdc5d975e188f.gif][]

‍

颜色太显老？换一个试试！‍‍

![cfb74e7bf46eb50c3fb058f48c1fef05.gif][]

‍

怎么样是不是新发型与您的头完美融合？再也没有生硬感？

为了确定这个项目符合大众审美，作者还对396名参与者进行了用户研究。答案是：GAN给出的解决方案在95%的情况下都是他们首选的！

![bb9cd58f164077e2e17ec3b6e14e4c3b.png][]

量化结果

这是如何做到的？

去掉生硬感！在GAN中加入对齐（alignment）步骤

GAN架构可以学习将一个图像的特定特征或风格移植到另一个图像上。虽然它并不是一项新技术了，但是关于它的应用一种充满新鲜劲儿。

但也有一些细节给GAN的应用带来挑战，譬如：光线的差异带来了遮挡，在两张照片中的头部可能会出现不同，会带来生硬感。

![8a3ef16b024de1735c9f58c0530e0afa.png][]

通常情况下，这些使用GANs的技术会试图对图片信息进行编码，并在此编码中明确识别与头发属性相关的区域来切换它们。但只有当两张照片的拍摄条件类似时，这种换头发的效果才会很好——不过，这很难。

因此，作者不得不想点办法。

首先，将换头发分为两个层级：结构（structure）和外观（appearance）。

结构是指头发的几何形状——卷曲的、波浪的还是直的。外观指的是深度编码的信息，包括头发颜色、纹理和照明。

![3cce12983895962d7f21efe776637435.png][]

这里的目标是将特定图片的发型和颜色移植到自己的图片上，同时按照图片的光照和属性改变结果，使其一次就能达到令人信服的真实效果，减少步骤和错误来源。

![26cbf9b31b9086c7cf8333006e84db60.png][]

StyleGAN2架构

为了实现这一目标，作者在GANs中增加了一个缺失但必不可少的对齐（alignment）步骤。

事实上，它不是简单地对图像进行编码和合并，而是按照不同的分割掩码稍微改变编码，使两幅图像的潜伏代码更加相似。正如前面提到的，它们都可以编辑头发的结构和风格或外观。

![6cfdf7f540456d9946659a443d8dc1d7.png][]

我们知道，GANs使用卷积对信息进行编码。这意味着它使用卷积核来降低每一层的信息规模，并使其越来越小，从而迭代地去除空间细节，同时对所产生的输出的一般信息给予越来越多的价值。

这些信息是从不同的图像中提取的，但现在，如何合并这些信息，才使结果看起来逼真些呢？

![a47be507f4b12ce2400b3cb0ebe47d31.png][]

流程示意图

这是用图像的分割图完成的。更准确地说，是在我们的目标和参考图像的对齐版本的基础上，生成这个想要的新图像。参考图像是我们自己的图像，而目标图像是我们想要应用的发型。这些分割图告诉我们图像包含什么以及它在哪里，头发、皮肤、眼睛、鼻子等。

![0df7a0336767d0c0346e25979cc289d1.png][]

分割图

利用这些来自不同图像的信息，他们可以在将图像发送到网络进行编码之前，使用基于StyleGAN2的改良架构，按照目标图像结构对齐。

然后，对于外观和光照问题，他们从目标图像和参考图像中找到这些外观编码的适当混合比例，用于相同的分割区域，使其看起来尽可能的真实。

对比一下就知道效果：左是没有对齐的结果，右是本文的方法。

![f4f5d9900167986c5abc04e3b7a4910c.png][]

是不是顺眼很多？

当然，这个过程有点复杂，具体细节都可以在论文中找到。

但请注意，就像大多数GANs的实现一样，他们的架构需要被训练。在这里，他们使用了一个在FFHQ数据集上训练的StyleGAN2基础的网络。然后，由于他们做了许多修改，正如刚才讨论的，他们用198对图像作为发型转移的例子，第二次训练他们修改后的StleGAN2网络，以优化模型外观混合比例和结构编码。

![c5a2a9d7d2f29f23addfa35e7d07a210.png][]

Fail examples.

具体细节参见：

GitHub地址：https://github.com/ZPdesu/Barbershop

论文：https://arxiv.org/pdf/2106.01505.pdf

参考链接：

https://pub.towardsai.net/barbershop-try-different-hairstyles-and-hair-colors-from-pictures-gans-e5138a8ee5f4

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN] **

[**CVPR 2021 | 图像转换 今如何？几篇GAN论文**][CVPR 2021 _ _ _GAN]

[**【CVPR 2021】通过GAN解决人脸识别的遗留难题**][CVPR 2021_GAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![1a848e0914768a78014544b4a75fc338.png][]

[e1e7a43b4ccf3f83f11009f5d46177e5.png]: /images/20221005/a4eda74ece884bba989447b112bfa714.png
[0a97055b5b855bb449297a9998c029fa.png]: /images/20221005/6cce15075cc6497c9a3c4361262491f7.png
[3a796928c9165d33ac59ea3e47dc85e4.png]: /images/20221005/dc06a81ed8bb4c1c889d9721db76f515.png
[c71b1caaa7255247fa67d05d0eec0cf8.png]: /images/20221005/b499b0ddeb134971ae9c63f533534f1f.png
[66234dbee3f31a4c478ee9f54c693b3d.png]: /images/20221005/1854ee425b294c0891785c38c4469a32.png
[b50a18c38618c6f42b298aa5b53bc235.png]: /images/20221005/7290ae74d4d348aa850974363b1688b6.png
[6d726a4e2cae6b91fe32cf83f78fb776.gif]: /images/20221005/ca1dc1c241b147cfabcc703eb2cfd5a1.png
[96624f8c862db77995ebdc5d975e188f.gif]: /images/20221005/28002fc0d2bd4195a21f0c4c75d5a702.png
[cfb74e7bf46eb50c3fb058f48c1fef05.gif]: /images/20221005/65311429faf7455c96299cea65266c31.png
[bb9cd58f164077e2e17ec3b6e14e4c3b.png]: /images/20221005/2a3a48c07994446fb538b33f6a719a98.png
[8a3ef16b024de1735c9f58c0530e0afa.png]: /images/20221005/b807eb0643804e74a5da243b51fd3155.png
[3cce12983895962d7f21efe776637435.png]: /images/20221005/73a8287b7e834fe6b9b4a56adb14cf0f.png
[26cbf9b31b9086c7cf8333006e84db60.png]: /images/20221005/c7368f0351ef4af99d6ef9de2c860080.png
[6cfdf7f540456d9946659a443d8dc1d7.png]: /images/20221005/a2d0d3c185a74971ace7fddd5227e188.png
[a47be507f4b12ce2400b3cb0ebe47d31.png]: /images/20221005/bd15583480384946838f355de7ac52f4.png
[0df7a0336767d0c0346e25979cc289d1.png]: /images/20221005/2cf55a81fe7c4edb9a8c7f442d326c61.png
[f4f5d9900167986c5abc04e3b7a4910c.png]: /images/20221005/ff895124e8c34cb6812dcc7b5d95ceaa.png
[c5a2a9d7d2f29f23addfa35e7d07a210.png]: /images/20221005/e62a593956f048e180c125f54e7bc160.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[1a848e0914768a78014544b4a75fc338.png]: /images/20221005/44c839da2d5d4cdc8cb8a4cff716cdfc.png