GAN的一些很酷的应用

秒速五厘米 2022-01-15 05:35 352阅读 0赞

[为什么80%的码农都做不了架构师？>>> ][80_]  ![hot3.png][]

在GAN发展的最初几年里，我们取得了令人瞩目的进展。当然，现在不会是像恐怖电影里那样有邮票大小的面部照片了。2017年，Gan制作了1024×1024张能愚弄人才童子军的照片。在未来几年，我们可能会看到GAN生成的高质量视频，由此衍生的商业应用程序即将来临。作为GAN系列的一部分，我们研究了一些很酷的应用程序，希望它们能作你的GAN应用程序的灵感来源。

**创建动画角色**

众所周知，游戏开发和动画制作成本很高，并且雇佣了许多制作艺术家来完成相对常规的任务。但通过GAN就可以自动生成动画角色并为其上色。

![bf25a2e47fd688181ab68ecdf20693f3a19.jpg][]

[使用Generative Adversarial Networks创建自动动画人物角色][Generative_Adversarial_Networks]

发生器和鉴别器由多层卷积层、批标准化和具有跳过链接的relu组成。

![5c50658fe491d4ec83ab64a3318602930bb.jpg][]

[来源][Generative_Adversarial_Networks]

[**姿势引导人形像生成**][Link 1]

通过姿势的附加输入，我们可以将图像转换为不同的姿势。例如，右上角图像是基础姿势，右下角是生成的图像。

![9a5f849dce03f6a954c29b9a4da84e1269d.jpg][]

下面的优化结果列是生成的图像。

![2471cb6bbdfbb9e04a5f2763abcd2e79fa9.jpg][]

[姿势引导人图像生成][Link 1]

该设计由二级图像发生器和鉴频器组成。生成器使用元数据（姿势）和原始图像重建图像。鉴别器使用原始图像作为[CGAN][]设计标签输入的一部分。

![\_IMG\_3429][IMG_3429]

[姿势引导人图像生成][Link 1]

**CycleGAN**

跨域名转让将很可能成为第一批商业应用。GANs将图像从一个领域（如真实的风景）转换为另一个领域（莫奈绘画或梵高）。

![\_IMG\_3430][IMG_3430]

[CycleGAN][]

例如，它可以在斑马和马之间转换图片。

![\_IMG\_3439][IMG_3439]

[CycleGAN][]

Cyclegan构建了两个网络G和F来构建从一个域到另一个域以及反向的图像。它使用鉴别器d来批评生成的图像有多好。例如，G将真实图像转换为梵高风格的绘画，并且DY用于区分图像是真实的还是生成的。

域A到域B：

![\_IMG\_3432][IMG_3432]

我们在反向域B域A中重复该过程：

![\_IMG\_3433][IMG_3433]

**PixelDTGAN**

根据名人图片推荐商品已经成为时尚博客和电子商务的热门话题。Pixeldtgan的作用就是从图像中创建服装图像和样式。

![\_IMG\_3434][IMG_3434]

![\_IMG\_3435][IMG_3435]

[PixelDTGAN][]

![\_IMG\_3436][IMG_3436]

[PixelDTGAN][]

**超分辨率**

从低分辨率创建超分辨率图像。这是GAN显示出非常令人印象深刻的结果，也是具有直接商业可能性的一个领域。

![\_IMG\_3437][IMG_3437]

[SRGAN][]

与许多GAN的设计类似，它是由多层卷积层、批标准化、高级relu和跳过连接组成。

![\_IMG\_3438][IMG_3438]

[SRGAN][]

**GAN的逐步发展**

Progressive GAN可能是第一个展示商业化图像质量的GAN之一。以下是由GAN创建的1024×1024名人形象。

![01][]

[GAN的逐步发展][GAN]

它采用分而治之的策略，使训练更加可行。卷积层的一次又一次训练构建出2倍分辨率的图像。

![\_IMG\_3440][IMG_3440]

在9个阶段中，生成1024×1024图像。

![\_IMG\_3446][IMG_3446]

[GAN的逐步发展][GAN]

**高分辨率图像合成**

需要注意的是这并非图像分割，而是从语义图上生成图像。由于采集样本非常昂贵，我们采用生成的数据来补充培训数据集，以降低开发成本。在训练自动驾驶汽车时可以自动生成视频，而不是看到它们在附近巡航，这就为我们的生活带来了便捷。

网络设计:

![\_IMG\_3445][IMG_3445]

[pix2pixHD][]

![\_IMG\_3444][IMG_3444]

[pix2pixHD][]

**文本到图像（[StackGAN][]）**

文本到图像是域转移GAN的早期应用之一。比如，我们输入一个句子就可以生成多个符合描述的图像。

![02][]

[StackGAN][]

![\_IMG\_3448][IMG_3448]

[来源][Generative_Adversarial_Networks]

**文本到图像合成**

另一个比较通用的实现：

![\_IMG\_3449][IMG_3449]

[生成对抗性文本到图像合成][StackGAN]

**人脸合成**

不同姿态下的合成面：使用单个输入图像，我们可以在不同的视角下创建面。例如，我们可以使用它来转换更容易进行人脸识别图像。

![03][]

[TP-GAN][]

![\_IMG\_3450][IMG_3450]

[TP-GAN][]

**图像修复**

几十年前，修复图像一直是一个重要的课题。gan就可以用于修复图像并用创建的“内容”填充缺失的部分。

![\_IMG\_3486][IMG_3486]

[上下文编码器][Link 2]

**学习联合分配**

用面部字符P（金发，女性，微笑，戴眼镜），P（棕色，男性，微笑，没有眼镜）等不同组合创建GAN是很不现实的。维数的诅咒使得GAN的数量呈指数增长。但我们可以学习单个数据分布并将它们组合以形成不同的分布，即不同的属性组合。

![05][]

![04][]

[CoGAN][]

![\_IMG\_3451][IMG_3451]

[CoGAN][]

**DiscoGAN**

DiscoGAN提供了匹配的风格：许多潜在的应用程序。DiscoGAN在没有标签或配对的情况下学习跨域关系。例如，它成功地将样式（或图案）从一个域（手提包）传输到另一个域（鞋子）。

![\_IMG\_3452][IMG_3452]

[DiscoGAN][]

DiscoGAN和cyclegan在网络设计中非常相似。![\_IMG\_3453][IMG_3453]

[DiscoGAN][]

[**Pix2Pix**][Pix2Pix]

PIX2PIx是一种图像到图像的翻译，在跨域Gan的论文中经常被引用。例如，它可以将卫星图像转换为地图（图片左下角）。

![\_IMG\_3478][IMG_3478]

[pix2pix][Pix2Pix]

**[DTN][]**

从图片中创建表情符号。

![\_IMG\_3476][IMG_3476]

[DTN][]

![\_IMG\_3474][IMG_3474]

[DTN][]

**纹理合成**

![\_IMG\_3456][IMG_3456]

[MGAN][]

**图像编辑 ([IcGAN][])**

重建或编辑具有特定属性的图像。

![\_IMG\_3473][IMG_3473]

[IcGAN][]

![\_IMG\_3472][IMG_3472]

[IcGAN][]

**人脸老化([Age-cGAN][])**

![\_IMG\_3459][IMG_3459]

[Age-cGAN][]

![\_IMG\_3458][IMG_3458]

[Age-cGAN][]

**神经照片编辑器**

基于内容的图像编辑：例如，扩展发带。

![\_IMG\_3471][IMG_3471]

神经照片编辑

**细化图像**

![\_IMG\_3470][IMG_3470]

**目标检测**

这是用gan增强现有解决方案的一个应用程序。

![\_IMG\_3469][IMG_3469]

[Perceptual GAN][]

**图像融合**

将图像混合在一起。

![06][]

[GP-GAN][]

**视频生成**

创建新的视频序列。它识别出什么是背景，并为前台操作创建新的时间序列。

[视频链接][Link 3]

**生成三维对象**

这是用gan创建三维对象时经常引用的一篇文章。

[视频链接][Link 4]

[3DGAN][]

![\_IMG\_3461][IMG_3461]

[3DGAN][]

**音乐的产生**

GaN可以应用于非图像领域，如作曲。

![\_IMG\_3462][IMG_3462]

[MidiNet][]

![\_IMG\_3463][IMG_3463]

[MidiNet][]

**医疗（异常检测）**

GAN还可以扩展到其他行业，例如医学中的肿瘤检测。

![\_IMG\_3464][IMG_3464]

[AnoGAN][]

![\_IMG\_3465][IMG_3465]

[AnoGAN][]

**进一步阅读**

本文展示了一些GAN的相关应用程序。如果你感兴趣想进一步研究GAN可以继续阅读以下文章：

第一部分：重点介绍如何应用gans解决深层次学习问题，以及为什么培训gans如此困难。  
[GAN-关于GAN的综合考察（上）][GAN-_GAN]  
第二部分：GAN培训问题解决概述。  
[GAN-关于GAN的综合考察（下）][GAN-_GAN]

本系列中的所有文章：  
[GaN-GaN系列（从头到尾）][GAN-_GAN]

作者：【方向】

[原文链接][Link 5]

本文为云栖社区原创内容，未经允许不得转载。

转载于:https://my.oschina.net/yunqi/blog/3027858

[80_]: https://my.oschina.net/u/2663968/blog/3051541
[hot3.png]: /images/20220115/1a3fc284af264c81903b0cd147d0006c.png
[bf25a2e47fd688181ab68ecdf20693f3a19.jpg]: /images/20220115/053b6819f7a4477ea71012f85faa13db.png
[Generative_Adversarial_Networks]: https://arxiv.org/pdf/1708.05509.pdf
[5c50658fe491d4ec83ab64a3318602930bb.jpg]: /images/20220115/d9b122f765ff4741924bcc5488e5c74d.png
[Link 1]: https://arxiv.org/pdf/1705.09368.pdf
[9a5f849dce03f6a954c29b9a4da84e1269d.jpg]: /images/20220115/1b32d7c4b95f4d08abd5ddeed5ffa2ab.png
[2471cb6bbdfbb9e04a5f2763abcd2e79fa9.jpg]: /images/20220115/7f1c695c2bc74e618d02914e1de72729.png
[CGAN]: https://medium.com/@jonathan_hui/gan-cgan-infogan-using-labels-to-improve-gan-8ba4de5f9c3d
[IMG_3429]: /images/20220115/e1f2a2cbe9e14b4ebd2c62d006fc1bbb.png
[IMG_3430]: /images/20220115/444be021574c443089df857c86e6b4f5.png
[CycleGAN]: https://github.com/junyanz/CycleGAN
[IMG_3439]: /images/20220115/af7d8db410a944cdb2f768c26591d708.png
[IMG_3432]: /images/20220115/aff4be42d3654ba0a6eff6c9e17badb9.png
[IMG_3433]: /images/20220115/3d85ad4e07274238a3b6afbb596eac7d.png
[IMG_3434]: /images/20220115/051c7653230a4f79b903337588450f63.png
[IMG_3435]: /images/20220115/c6d04747a37d4e6bad0ab052930b6ca2.png
[PixelDTGAN]: https://github.com/fxia22/PixelDTGAN
[IMG_3436]: /images/20220115/333146db20d946328d26708a4a992b43.png
[IMG_3437]: /images/20220115/4edc0902005b4171b3395dcbfee18feb.png
[SRGAN]: https://arxiv.org/pdf/1609.04802.pdf
[IMG_3438]: /images/20220115/4c32a8bc10084a81b3006d5a909b3d3c.png
[01]: /images/20220115/d70a187332854347b958a8bcee1b7a38.png
[GAN]: https://arxiv.org/pdf/1710.10196.pdf
[IMG_3440]: /images/20220115/f28561bb5fc04abfa8a21c27bc1ca519.png
[IMG_3446]: /images/20220115/2261e249418d4b5a8cad6e9a939ad4aa.png
[IMG_3445]: /images/20220115/8ddb0bc737a74495be102958d015f4c7.png
[pix2pixHD]: https://tcwang0509.github.io/pix2pixHD/
[IMG_3444]: /images/20220115/b529f05435924dc085e94e7ceaadd1e7.png
[StackGAN]: https://github.com/hanzhanggit/StackGAN
[02]: /images/20220115/7d0f90635be64da1bc67d3c76e2d84d1.png
[IMG_3448]: /images/20220115/14a37b471621486587beeb3f56408db8.png
[IMG_3449]: /images/20220115/5752aedc9572491cb83e17752e75b3f6.png
[03]: /images/20220115/5f761a48fe81483e97d738b6d14dfc40.png
[TP-GAN]: https://arxiv.org/pdf/1704.04086.pdf
[IMG_3450]: /images/20220115/41d565b122904d8192c146177b005003.png
[IMG_3486]: /images/20220115/ec9108210069494fa06a8074bb9224b9.png
[Link 2]: https://github.com/pathak22/context-encoder
[05]: /images/20220115/21e24fc27acb407fb6f14fa9f192af7a.png
[04]: /images/20220115/4aae73e86e5d4899b7cdb80daa1406e3.png
[CoGAN]: https://arxiv.org/pdf/1606.07536.pdf
[IMG_3451]: /images/20220115/3a67d510f35e4f319247d83e05780dc6.png
[IMG_3452]: /images/20220115/60b6544f1ac64d0fa11797c2c3307bde.png
[DiscoGAN]: https://github.com/carpedm20/DiscoGAN-pytorch
[IMG_3453]: /images/20220115/5990ad9802a642cb83e7cadcfac861d8.png
[Pix2Pix]: https://arxiv.org/pdf/1611.07004.pdf
[IMG_3478]: /images/20220115/a2344b9ecfbb498f8162519653f7bed1.png
[DTN]: https://arxiv.org/pdf/1611.02200.pdf
[IMG_3476]: /images/20220115/82d55ed779b64f388264d3cf2ffcce5a.png
[IMG_3474]: /images/20220115/5cecf7e6883e4af0ad17d3afe2dde2a2.png
[IMG_3456]: /images/20220115/8ca3be20517f47f2a54e4299559ae4ec.png
[MGAN]: https://arxiv.org/pdf/1604.04382.pdf
[IcGAN]: https://github.com/Guim3/IcGAN
[IMG_3473]: /images/20220115/e45555d5aeeb4d2d954ad89426800861.png
[IMG_3472]: /images/20220115/0750d3336bd14923854159f5fa3be268.png
[Age-cGAN]: https://arxiv.org/pdf/1702.01983.pdf
[IMG_3459]: /images/20220115/1d5cf7dd2c5f4d609230b96155630cbb.png
[IMG_3458]: /images/20220115/ea47da35c5a747c8bd84ebf0bbb58526.png
[IMG_3471]: /images/20220115/d00a034bb95d4ace8b1b5777f17806de.png
[IMG_3470]: /images/20220115/648802a4c5e34bf6a7a985a1406a61ca.png
[IMG_3469]: /images/20220115/7a35881d5be844a4a997d815185c944d.png
[Perceptual GAN]: https://arxiv.org/pdf/1706.05274v2.pdf
[06]: /images/20220115/f138d11a4c5448cab6eecbe82a4de899.png
[GP-GAN]: https://github.com/wuhuikai/GP-GAN
[Link 3]: https://m.youtube.com/watch?v=Pt1W_v-yQhw#
[Link 4]: https://m.youtube.com/watch?v=HO1LYJb818Q#
[3DGAN]: http://papers.nips.cc/paper/6096-learning-a-probabilistic-latent-space-of-object-shapes-via-3d-generative-adversarial-modeling.pdf
[IMG_3461]: /images/20220115/567947ed20fd473db796613091b6fc31.png
[IMG_3462]: /images/20220115/e48a6d0a496b4fccbc078bc707e7468d.png
[MidiNet]: https://arxiv.org/pdf/1703.10847.pdf
[IMG_3463]: /images/20220115/cc90b2ccd08042479e3313327779a39e.png
[IMG_3464]: /images/20220115/3bd52d4a835e40fa81fa944946f85975.png
[AnoGAN]: https://arxiv.org/pdf/1703.05921.pdf
[IMG_3465]: /images/20220115/b1ff11ff9e1d476c876c521f3fe8508f.png
[GAN-_GAN]: https://medium.com/@jonathan_hui/gan-some-cool-applications-of-gans-4c9ecca35900
[Link 5]: https://yq.aliyun.com/articles/695062?utm_content=g_1000048590