ACM顶刊接收 | GAN的综述

左手的ㄟ右手 2022-10-31 10:51 140阅读 0赞

> 点击“**机器学习与生成对抗网络**”，关注星标
> 
> 获取有趣、好玩的前沿干货！

**新更：**

Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy 已被《ACM Computing Surveys》接收。由于GAN的更新极快，相较于之前的版本，新版做了更**及时详细**的总结和报道。

ACM Reference format: Zhengwei Wang, Qi She, and Tomás E. Ward. 2021. Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy. ACM Comput. Surv. 54, 2, Article 37 (February 2021), 38 pages.

https://doi.org/10.1145/3439723

作者已把原文发给公众号小编，也可备注“ **gan综述** ”添加运营小编好友、方便获取：

![format_png][]

======= **旧版原文**如下 =======

### 0 前言 ###

*  前几天，一位英特尔的小伙伴给公众号发了他们最近更新的GAN综述论文，已经挂在arxiv上，总结得非常不错，今天强推一波！也欢迎各位读者进GAN交流群，与大家一起交流讨论哦！（文末扫码加入）
 *  Generative Adversarial Networks in Computer Vision: A Survey and Taxonomy
 *  https://arxiv.org/pdf/1906.01529.pdf
 *  作者：
    
    Zhengwei Wang is with V-SENSE, School of Computer Science and Statistics, Trinity College Dublin, Dublin, Ireland. e-mail: villa.wang.zhengwei@gmail.com
    
    Qi She is with Intel Labs, Beijing, China. e-mail: qi.she@intel.com
    
    Tom´as E. Ward is with Insight Centre for Data Analytics, Dublin City University, Dublin, Ireland. e-mail: tomas.ward@dcu.ie  
    
 *  **本文不做详细解读，具体内容可参考原文。**

### 1 概要 ###

![format_png 1][]

*  过去几年，生成对抗网络（GAN）得到了广泛的研究；其最重要而明显的影响是在计算机视觉领域，如合理自然的图像生成，图像到图像的转换，人脸属性编辑等等。
 *  将GAN应用于实际问题，仍存在挑战，在此本文重点关注其中三个：（1）高质量的图像生成；（2）图像生成的多样性；（3）稳定的训练。
 *  本文对GAN相关研究的进展进行了详细回顾，讨论其在计算机视觉中引人注目的应用，并提出一些有关未来研究方向的建议。

![format_png 2][]

### 2 典型网络结构 ###

![format_png 3][]

*  Fully-connected GAN (FCGAN)
 *  Semi-supervised GAN (SGAN)

SGAN是在半监督学习的背景下提出的，与监督学习（其中每个样本都需要一个标签）和非监督学习（其中不提供标签）不同，半监督学习具有一小部分示例的标签。与FCGAN相比，SGAN的鉴别器是multi-headed的，即具有softmax和Sigmoid，以对真实数据进行分类并分别区分真实和生成样本。作者在MNIST数据集上训练SGAN，结果表明与原始GAN相比，SGAN中的鉴别器和生成器均得到了改进。

![format_png 4][]

*  Bidirectional GAN (BiGAN)

![format_png 5][]

*  Conditional GAN (CGAN)

![format_png 6][]

*  InfoGAN

![format_png 7][]

*  Auxiliary Classifier GAN (AC-GAN)

![format_png 8][]

*  Laplacian Pyramid of Adversarial Networks (LAPGAN)

![format_png 9][]

*  Deep Convolutional GAN (DCGAN)

![format_png 10][]

*  Boundary Equilibrium GAN (BEGAN)

![format_png 11][]

*  Progressive GAN (PROGAN)

![format_png 12][]

*  Self-attention GAN (SAGAN)

![format_png 13][]

*  BigGAN
 *  Label-noise Robust GANs (rGANs)
 *  Your Local GAN (YLG)
 *  AutoGAN

![format_png 14][]

*  MSG-GAN

![format_png 15][]

*  总结

![format_png 16][]

### 3 代表性损失函数 ###

![format_png 17][]

*  Wasserstein GAN (WGAN)
 *  WGAN-GP
 *  Least Square GAN (LSGAN)
 *  f-GAN
 *  Unrolled GAN (UGAN)
 *  Loss Sensitive GAN (LS-GAN)
 *  Mode Regularized GAN (MRGAN)
 *  Geometric GAN
 *  Relativistic GAN (RGAN)
 *  Spectral normalization GAN (SN-GAN)
 *  RealnessGAN
 *  Sphere GAN
 *  Self-supervised GAN (SS-GAN)
 *  总结

![format_png 18][]

### 4 常见应用 ###

*  数据增强
 *  图像合成
 *  视频生成
 *  特征生成

### 5 评估指标 ###

### 6 未来&总结 ###

GAN主要还是在图像视觉上有较大进展，NLP等领域相对滞后；一些其他数据模态例如时空序列等也相对探索较少；GAN的不良使用可能会对社会产生消极影响，例如在deepfake、伪造等方面进行恶意应用。

![format_png 19][]

**欢迎加入****GAN交流群****：**

![format_png][]

**猜您喜欢：**

[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![format_png 20][]

[format_png]: /images/20221024/c8ccb65d2152452bbc4953c6aaec88dc.png
[format_png 1]: /images/20221024/b9da6e84a71c4e3fbe45e81f9898527d.png
[format_png 2]: /images/20221024/3422f71f52b2497280d917681d75ac47.png
[format_png 3]: /images/20221024/5a11d9fb8f5d4a75a5b6388ed70e6b82.png
[format_png 4]: /images/20221024/b708753e0a99483c91802c7b1d857cfb.png
[format_png 5]: /images/20221024/190c56b2d8d54b52bb09703bd5b09669.png
[format_png 6]: /images/20221024/995063d5368e4071914b16c7b28fce22.png
[format_png 7]: /images/20221024/510914fe252f400ab635443d1ac89b28.png
[format_png 8]: /images/20221024/a7f8362c7ae5445e8a77e95f2f7f1ff7.png
[format_png 9]: /images/20221024/864a1616a4c045e2ac6d8ffe15dd5739.png
[format_png 10]: /images/20221024/046d95d538584530a43092679411e388.png
[format_png 11]: /images/20221024/f8f15d5362544157a0ed6f830a10113c.png
[format_png 12]: /images/20221024/ba17effd662a44129d398e84b62e4472.png
[format_png 13]: /images/20221024/1f4a77a4c5c847799d73088abb8b25cb.png
[format_png 14]: /images/20221024/6e2c36499e2d49928cb82d75b45b948f.png
[format_png 15]: /images/20221024/9d36efee58c44bc6981495f0065fef08.png
[format_png 16]: /images/20221024/e5de7c639d4148949eaee5d7e74a78ee.png
[format_png 17]: /images/20221024/580ff6cf62e749f08c52acc6733a84db.png
[format_png 18]: /images/20221024/6bd36b601b4f4f4da7dabe65fa68a426.png
[format_png 19]: /images/20221024/87070accc1fb4211ac98f5570c79c33a.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[format_png 20]: /images/20221024/15da3c3d98c54e0095be560a277c2241.png