让AI画画 | 大神复现OpenAI的Dall-E

旧城等待， 2022-11-15 01:15 173阅读 0赞

来源：量子位

OpenAI今年1月公布的Dall-E可谓艳惊四座，只需输入一段话，就能根据内容输出一幅画。连吴恩达老师都不禁点赞。

比如让它设计一个“像牛油果一样的座椅”。

![f3ffe04604cfef218c6f186453c33532.png][]

但是，OpenAI只在官网设置了几种固定模板，代码也没有开源，用户无法用AI设计出更多的图片。

不过现在有个好消息，一位华人小哥**Philip Wang**已经复现了一个PyTorch版Dall-E，叫做**Deep Daze**。

他使用了OpenAI的**CLIP以及斯坦福大学的Siren**，可以在个人电脑上运行。

只需输入在命令行中输入一段描述，这个AI就能画出各式图片。

比如在绿色山丘上的薄雾（mist over green hills）：

![6af0849999f6d3e50a893b4c9213503b.png][]

或者是“草地上的碎盘子”（shattered plates on the grass）：

![dc4c60b9a908b6754f5607514981d812.png][]

你觉得实际效果如何？

开发该项目的Philip Wang，就是在今年年初公布要复现Dall-E的那位大神，没想到不到3个月的时间，这个项目已经如此强大，在GitHub上已收获1.1k星。

![146d5f67231664c140acb4241e15eba3.png][]

## 安装与使用 ##

Deep Daze可直接通过pip安装：

pip install deep-daze

安装完成后，输入以下命令运行。

imagine TEXT <flags>

‍‍其中imagine是命令，TEXT必须是一段不超过77个字符的英文描述，<flags>为可选参数，可加可不加。

如果我们想生成文章开始那张山中薄雾的图片，就输入以下命令：

imagine mist over green hills

<flags>中可加入的参数有：—deeper，获取更高的图像质量；—num-layers，指定网络的层数……更多用法可以去GitHub项目主页查询。

如果担心AI的想象力过于天马行空，可以指定一张图片，让AI在此图像基础上想象。这样就能保证图像不至于太过离谱。

具体的命令如下：

imagine ‘description’ —start-image-path /path/to/picture.jpg

假设我们给AI一张披萨的图片，让它想象“上面铺满青椒的样子”。

![81d49c0cf1396fd54739a754aaaff6ce.png][]

那么我们将上述命令中的描述改成“A pizza with green pepper”。

![bcf7384aee3632734bda3c00803c89e1.png][]

你以为这就是Deep Daze的全部？其实，它还有一个更强大的完全体——**故事模式**。

只需设置—create\_story=True，就可以解锁该模式，取消77个字符的限制，项目作者将美国诗人罗伯特·弗罗斯特的诗《雪夜林边歇马》输入其中，得到了一段mp4视频。

![947ea21c6eab5559065f3412992b00f7.gif][]

到这里我有点想让AI画一下“五彩斑斓的黑”，但贫穷限制了我的操作。

因为使用Deep Daze必须要安装CUDA，而且最好在不小于8GB显存的GPU上，才能获得不错的效果。而我现在根本买不起英伟达显卡。

项目地址：  
https://github.com/lucidrains/deep-daze

**猜您喜欢：**

[**超100篇！CVPR 2020最全GAN论文梳理汇总！**][100_CVPR 2020_GAN]

[拆解组新的GAN：解耦表征MixNMatch][GAN_MixNMatch]

[StarGAN第2版：多域多样性图像生成][StarGAN_2]

[附下载 | 《可解释的机器学习》中文版][Link 1]

[附下载 |《TensorFlow 2.0 深度学习算法实战》][_TensorFlow 2.0]

[附下载 |《计算机视觉中的数学方法》分享][Link 2]

[《基于深度学习的表面缺陷检测方法综述》][Link 3]

[《零样本图像分类综述: 十年进展》][Link 4]

[《基于深度神经网络的少样本学习综述》][Link 5]

![bd859f1326c0abaeb5dd5e3a06119c30.png][]

[f3ffe04604cfef218c6f186453c33532.png]: /images/20221022/0b40992de0da4572a292c3e47e562393.png
[6af0849999f6d3e50a893b4c9213503b.png]: /images/20221022/0ce5f992cf3b47c9922bdfc1a3e2a2e8.png
[dc4c60b9a908b6754f5607514981d812.png]: /images/20221022/f9c0a538ba9a463ab24d6a98e691a1e4.png
[146d5f67231664c140acb4241e15eba3.png]: /images/20221022/60cf08eb73ef4f74afe760fcc19ee7a9.png
[81d49c0cf1396fd54739a754aaaff6ce.png]: /images/20221022/0a870db25fdd4e5f8ec566d6fe7249b9.png
[bcf7384aee3632734bda3c00803c89e1.png]: /images/20221022/6088fdddb532449fb3a975d65573f54d.png
[947ea21c6eab5559065f3412992b00f7.gif]: /images/20221022/dd048b70b26d4928806bf909e8713138.png
[100_CVPR 2020_GAN]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a94cc95e205ae880cb9518cb16a54c0abde69e5a8654f7fedf70a0cc990775265bf28a1c&idx=1&mid=2247486455&scene=21&sn=94156f53845cdf07e859e343862be745#wechat_redirect
[GAN_MixNMatch]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aaa9c95e23bf3131249a8d008ce3acdff7c52c7f6be84d92c6d607ca804b5ceb2a4222e3&idx=1&mid=2247485458&scene=21&sn=9f562c1de84dada67268f88c72ff77ff#wechat_redirect
[StarGAN_2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29ab6ec95e22785abb2afbb2e2b1c95780a4d6bfceeb915118440b41a81769a8776dcc62b7&idx=1&mid=2247485909&scene=21&sn=048d1336b8083bac3755e27a1f968d06#wechat_redirect
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a4bac95e2dac758c4aac10a3aac49eb062bc0829d4ef2ebc8e6d5069d246385c5084a2b4&idx=1&mid=2247484929&scene=21&sn=523220858287ed3e6105919703c8e833#wechat_redirect
[_TensorFlow 2.0]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a5b0c95e2ca6599d4a91d5d40900566b7525de3dd85259e7a6c173aa26aa7ea3641d1aaf&idx=2&mid=2247485195&scene=21&sn=e3387067db29d1759755c6c2ea96c870#wechat_redirect
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e23993e057fb0dbe09f2810ea07184a439c173f404a7ab657cadcde3d24efa52a&idx=2&mid=2247485492&scene=21&sn=c4fb135de02cd52f06bc61b0e79476e4#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29aa8fc95e2399a93dae3af3b13626643b18cf42842d1a7ada0de46486fa8b865aa2421d2f&idx=1&mid=2247485492&scene=21&sn=6f8af433521b5fee5aceab62e0111115#wechat_redirect
[Link 4]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a44fc95e2d597fc88ca7f10cae079f821deedb6f93b10f0985aa8f6f7c06e369d716f785&idx=1&mid=2247485172&scene=21&sn=f65b58ed3b4c1d09163271069dce4738#wechat_redirect
[Link 5]: http://mp.weixin.qq.com/s?__biz=MzU5MTgzNzE0MA%3D%3D&chksm=fe29a7e6c95e2ef0a6649c0c904fa28b61b4ac76774df4acdce8fff3a909369c7c2f8d22a4b5&idx=1&mid=2247484765&scene=21&sn=b1b9a9ef6c923abad6cf38364105264c#wechat_redirect
[bd859f1326c0abaeb5dd5e3a06119c30.png]: /images/20221022/ef5c7503c0274aecac19e95a66383edb.png