发布Windows应用程序！试试英伟达“神笔马良”GauGAN

你的名字 2022-10-11 13:56 144阅读 0赞

点击上方“**机器学习与生成对抗网络**”，关注星标

获取有趣、好玩的前沿干货！

##### 丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI #####

大家还记得致敬印象派大师高更的**GauGAN**吗？

只需简单画几笔，就能生成逼真风景画的那个：

![e379cd47ffc1df67163792f091a81613.png][]

这个能让普通人秒变“神笔马良”的神器，现在又发布**Windows版公测程序**啦！

![4aa1d42ea3626a4e6f5e5448c28f0c29.png][]

长这样：

![ee4175216a9c6fc4392c88923f24c2fe.png][]

这次它提供了**PSD文件**保存格式等功能，界面也是看着此前的**网页版**友好非常多：

![011b707e38fb6c0e948acb99120c573d.png][]

###### **△** 网页版仍然可用    ######

虽然但是……新的桌面版**只能支持英伟达RTX系列的GPU**了！

![b6f00f69ee6a7431bc15feccf2dceb99.png][]

###### **△** 老黄刀法，不得不感叹    ######

有RTX系列的朋友可以往下看了。

## 如何使用？ ##

下载安装包之前确保你的电脑符合以下具体要求：

操作系统：Windows 10  
GPU：GeForce RTX, NVIDIA RTX, Quadro RTX, TITAN RTX  
显卡驱动：460.89或更高版本

众所周知，它与其他画画工具最大的区别就是：让创作者**用材料而不是颜色来作画**。

目前程序一共提供了**15种**不同的材料，包括天空、山脉、河流石头等：

![320d3c0049f3809394101df6a40045e0.png][]

并提供9种风格， 用来修改作品的整体滤镜：

![549838121bb1b32624bae00293ef0c95.gif][]

这和老版没啥区别。

笔刷、直线、油漆桶、取色器等可以调节粗细的工具都有，就不说了。

和PS很像，笔画会按不同材料被分别存成一个个**图层**，而桌面版这次帮你显示出来了。

![df4666951476d70dd694edab2fe3c025.png][]

另外，它是**实时渲染**，左边画着右边就出结果，不像网页版还需要左等右等。

并且无论你在哪边画，两边都可以交互式更新（这个功能也可关闭）。

![52e7a0dccca8c0255984ed3518b2b1b9.gif][]

最后，除了PNG格式，桌面版还可导出**PSD**文件。

并且左边(segmentation map)的图像也可以保存（虽然小编想不到这个存了有啥用，为了下次导入接着画吗）。

而存成PSD格式的话，最终输出图像会被存为背景图层，接着就可以拿到PS上继续创作、或者与其他艺术作品结合了。

ps.也可导入从该程序导出的PSD文件。

下面是更多作品示例：

![d9cee488d2f17df33e733f994eb9cf86.gif][]

![5cda2d2995f043a332396a731c5b8bce.gif][]

## 背后的技术 ##

英伟达去年三月首次公布了这个工具背后的技术GauGAN，这一路又是上线网页版和又是开发桌面端，不得不令人想象它的应用前景。  
wangGauGAN这个模型也是将语义分割图转化为逼真图像，它最大的创新点是提出了**空间适应标准化** （SPADE）。

![e12687547afd51cff2026b758d1d2f10.png][]

SPADE算法作用在生成器中，它会接收上一层的输出和语义图作为输入，而上一层的输出经过BN，语义图经过resize后通过一个卷积层，然后再将它通过两个卷积层后生成的结果分别和BN的做wise乘法和加法得到输出图像。

![7667a6397321ba5ce2c5604d1a2e3d06.png][]

这种处理方式能够有效地弥补BN带来的语义信息的丢失，使得生成的图像能够更加逼真。

![d9cdc2a3fdcbb88a42e35eca8665d301.png][]

###### **△** pix2pixHD算法与SPADE效果对比    ######

这样语义信号就可以作用于所有层的输出，然后再进行一下上采样调整就可以交给判别器了。

另外，为了让最终输出更加逼真，该模型在NVIDIA DGX系统上使用了超过**500万张**图像进行训练。

最后，**有条件有兴趣**的朋友可以脑洞大开，戳下方链接去尝试。

也不知道这认真的桌面版一出，会不会有人做出令人惊喜的应用来呢。

下载地址：https://www.nvidia.com/en-us/studio/canvas/

**注意：要有英伟达RTX的GPU支持哦！！！**

**猜您喜欢：**

**[等你着陆！【GAN生成对抗网络】知识星球！][GAN]  **

**[CVPR 2021 | GAN的说话人驱动、3D人脸论文汇总][CVPR 2021 _ GAN_3D]**

**[CVPR 2021 | 图像转换 今如何？几篇GAN论文][CVPR 2021 _ _ _GAN]**

[**【CVPR 2021】通过GAN提升人脸识别的遗留难题**][CVPR 2021_GAN]

[**CVPR 2021生成对抗网络GAN部分论文汇总**][CVPR 2021_GAN 1]

[**经典GAN不得不读：StyleGAN**][GAN_StyleGAN]

[**最新最全20篇！基于 StyleGAN 改进或应用相关论文**][20_ StyleGAN]

**[超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

[**附下载 | 《Python进阶》中文版**][_ _Python]

[**附下载 | 经典《Think Python》中文版**][_ _Think Python]

[**附下载 | 《Pytorch模型训练实用教程》**][_ _Pytorch]

[**附下载 | 最新2020李沐《动手学深度学习》**][_ _2020]

**[附下载 | 《可解释的机器学习》中文版][Link 1]**

[**附下载 |《TensorFlow 2.0 深度学习算法实战》**][_TensorFlow 2.0]

**[附下载 | 超100篇！CVPR 2020最全GAN论文梳理汇总！][100_CVPR 2020_GAN]**

**[附下载 |《计算机视觉中的数学方法》分享][Link 2]**

![574a9c77c4f0eb8230e0b226debc649a.png][]

[e379cd47ffc1df67163792f091a81613.png]: /images/20221005/1669f4009758424eb5f94ece63707be3.png
[4aa1d42ea3626a4e6f5e5448c28f0c29.png]: /images/20221005/b4e3867d92d84719960a51ef8c7bdb7b.png
[ee4175216a9c6fc4392c88923f24c2fe.png]: /images/20221005/d427ae1f2c8944f69213aa54b2f4219e.png
[011b707e38fb6c0e948acb99120c573d.png]: /images/20221005/f20a042d32e248a6ac6187b0122e5e50.png
[b6f00f69ee6a7431bc15feccf2dceb99.png]: /images/20221005/c3be437cc7104e8fb20bc8cbfeff7df7.png
[320d3c0049f3809394101df6a40045e0.png]: /images/20221005/6d62e7f7e8ff42e183d100a0d9dabea8.png
[549838121bb1b32624bae00293ef0c95.gif]: /images/20221005/ad6d2d4d1e7846f69a70a9dc06f100ca.png
[df4666951476d70dd694edab2fe3c025.png]: /images/20221005/c444fb632a754142b152f9b8be0278b7.png
[52e7a0dccca8c0255984ed3518b2b1b9.gif]: /images/20221005/f8541c92bf504e9fa6369c259c6f2518.png
[d9cee488d2f17df33e733f994eb9cf86.gif]: /images/20221005/78a84ec18af540b4896338312cdc047b.png
[5cda2d2995f043a332396a731c5b8bce.gif]: /images/20221005/1e1ba9217b5d4e7d9e2bd3860a62db0f.png
[e12687547afd51cff2026b758d1d2f10.png]: /images/20221005/cef55efc96a2449e8c0309a5a76350ca.png
[7667a6397321ba5ce2c5604d1a2e3d06.png]: /images/20221005/d2a0ca2f17f24b4796ee9c62c72f1709.png
[d9cdc2a3fdcbb88a42e35eca8665d301.png]: /images/20221005/f0dcf6c3086442f288743a9e77a600d4.png
[GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bf4bc95e365d4f53676d3aa2b80299375e55f9bab3bc7f8ad9405e7ada61d7ac00abb4bf&idx=1&mid=2247491056&scene=21&sn=535829ad04b094f59b2b38eb85cdbb38#wechat_redirect
[CVPR 2021 _ GAN_3D]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a41fac95dc8ec752351699318742fa502dfc945ce072567bb4bf0c59ce83049dc58c1a57d&idx=1&mid=2247492417&scene=21&sn=292be5e5fab52c5df5c94508b898da5a#wechat_redirect
[CVPR 2021 _ _ _GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4278c95dcb6ebd0ba346a11dc195a0ac4f7830f3a7cf69fcffc7057fa1bf3eaeb9386300&idx=1&mid=2247491779&scene=21&sn=f0a601ca66c01361709e6af8485f629b#wechat_redirect
[CVPR 2021_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe2a4289c95dcb9f047c18e63b3be9d78e5e75f1d94dc80be34686ce6b4f22cdee2d7cc7f2ae&idx=1&mid=2247491634&scene=21&sn=427cb6bfd6868662f2b5ae1ac37f6072#wechat_redirect
[CVPR 2021_GAN 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bfe4c95e36f275332b31b993532b98d52acc76d26c15e2321de4cf52141510bee3ff96af&idx=1&mid=2247490911&scene=21&sn=671926492c3b36e3350db4963f7fcb16#wechat_redirect
[GAN_StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29bedbc95e37cd709f583372918478ad8d3cff5309a85f3a940e7c0356050278f89d7e1c79&idx=2&mid=2247490656&scene=21&sn=bbe156fef077f23263b57e506ad43314#wechat_redirect
[20_ StyleGAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29b979c95e306f03b134809b16009d06aa0694b03da3368f84625de3700e6a56221d49d1bf&idx=1&mid=2247490498&scene=21&sn=324cfbbde362a728aa5336f4b200f7a3#wechat_redirect
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[_ _Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29abb6c95e22a04d1eb019f964c8ae97b2f3af98c22f730f5d5ed2aea9fdb320b00c688967&idx=2&mid=2247485709&scene=21&sn=55a51c98ab48f393ba305c082ba0e4fe#wechat_redirect
[_ _Think Python]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a418c95e2d0e9a3de46e0e4d1b8d4947154d8639418a511a3091300aa31699932046556e&idx=2&mid=2247485091&scene=21&sn=f569d5d70c2e6c9cc567fbc5147787a4#wechat_redirect
[_ _Pytorch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa78c95e236e380c9fd2ae79917d7451ccdd4803c5e6047a16f921d1b61d18efc79ada7c&idx=2&mid=2247485635&scene=21&sn=90608bce32fe353cf3c64b39e3406bc3#wechat_redirect
[_ _2020]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4a4c95e2db2aab16bdcefa78795bbb7efbc70b533bb197d73f617558f2f8a523120c6e3&idx=2&mid=2247484959&scene=21&sn=563999cc8d48498beed00270844ceec4#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[574a9c77c4f0eb8230e0b226debc649a.png]: /images/20221005/371f3e7821154f9f9093c2b4c324e44b.png