【OpenAI】DALL·E 2，让我来带你认识一下这位来自AI界的艺术家

浅浅的花香味﹌ 2024-04-14 06:04 55阅读 0赞

> 个人主页：[【?个人主页】][Link 1]

--------------------

![在这里插入图片描述][87a870f089db4582a2fabfee0279411d.jpeg_pic_center]

--------------------

#### 文章目录 ####

*  前言
 *  什么是DALL-E 2 ？
 *  介绍的怎么厉害，它又能干啥呢？
 *   *  基本功能
     *  新功能
     *   *  编辑
         *  变体功能
 *  总结

--------------------

## 前言 ##

> DALL-E 2 是一种基于语言的人工智能图像生成器，可以根据文本提示创建高质量的图像和艺术作品。它使用CLIP、先验和 unCLIP 模型来生成图像，其质量取决于文本提示的具体性。这也是我今天要介绍的主角

![在这里插入图片描述][ae861fc0c45c42df841c0a6d81b6fc4a.jpeg_pic_center]

--------------------

## 什么是DALL-E 2 ？ ##

DALL-E 2是一款人工智能图像生成器，它可以根据自然语言的文本描述创建图像和艺术形式。简单来说，它是一个根据文本生成图像的人工智能系统。2021年1月，OpenAI 推出了 DALL-E 模型，DALL-E 2 是其升级版。“DALL-E”这个名字源于西班牙著名艺术家Salvador Dalí 和广受欢迎的皮克斯动画机器人 “Wall-E” 的组合。2022年7月，DALL-E 2 进入测试阶段，可供白名单中的用户使用。同年9月28日，OpenAI 取消了白名单的要求，推出了任何人都可以访问并且使用的开放测试版。

> DALL·E2是OpenAI创建的语言模型的第二个版本，能够从文本描述中生成图像。它基于与GPT-3相同的架构，GPT-3是一种广泛使用的自然语言处理模型，但已在图像字幕对的大型数据集上进行了训练，以生成与给定描述相对应的图像。与前代DALL·E类似，DALL·E2能够生成各种各样的图像，包括物体、场景，甚至抽象概念。

--------------------

## 介绍的怎么厉害，它又能干啥呢？ ##

### 基本功能 ###

>  *  图像生成：可以根据文本描述生成图片，也可以通过图片生成相关的文本描述。
>  *  图像编辑：可以对生成的图片进行编辑，例如改变颜色、添加/删除物体等。
>  *  图像转换：可以将某种图像转换成另一种图像，例如将手绘图转换成真实图片。
>  *  图像分类：可以将图片分类到不同的类别中。
>  *  物体检测：可以检测图片中的物体，并给出它们的类别和位置信息。
>  *  语义分割：可以将图片中的物体分割出来。
>  *  图像识别：可以对图片进行识别，例如识别人脸、车辆等。
>  *  图像压缩：可以将图片压缩成更小的尺寸，同时保持较好的图像质量。

### 新功能 ###

#### 编辑 ####

DALL-E 2的一个值得关注的新功能是编辑，用户可以从现有图片开始，选择一个区域，然后告诉模型对其进行编辑。  
![编辑功能的演示，DALL-E 2在一个现有图片的房间角落加一个火烈鸟摆设][DALL-E 2]  
*编辑功能的演示，DALL-E 2在一个现有图片的房间角落加一个火烈鸟摆设*

> 2021年DALL-E的text to image生成效果，让人们一窥多模态的潜力，也带动着多模态图像合成与编辑方向的大火，前有 DALL-E、GauGAN2，后有统一的多模态预训练模型“女娲”。这些连接文本和视觉领域的技术创新使我们更接近实现多模态AI系统。  
> OpenAI表示将继续在该系统的基础上进行开发，同时检查图像生成中的偏见或错误信息的产生等潜在危险。  
> OpenAI试图通过技术保障措施和新的内容政策来解决这些问题，同时还降低了计算负载，推进了模型的基本功能。

#### 变体功能 ####

用户可以上传一张起始图片，然后创建一系列类似的变体，还可以混合两个图像，生成具有这两种元素的图像。

![在这里插入图片描述][f24bb07be8c24556a6b6ca668de9c43e.jpeg_pic_center]![在这里插入图片描述][8b2128a146b14174a44a942cbbfb8559.jpeg_pic_center]  
*“一碗看起来像怪物、用羊毛织成的汤”*

> DALL-E 2基于CLIP，一个由OpenAI去年发布的计算机视觉系统。OpenAI推出的两个连接文本与图像的神经网络DALL-E 和 CLIP中，DALL-E 可以基于文本直接生成图像，而CLIP 则能够完成图像与文本类别的匹配。  
> CLIP embeddings 具有许多理想的特性：对图像分布变化具有鲁棒性，并且已经过微调以在各种视觉和语言任务上实现最先进的结果。同时，diffusion models已经成为一种有前途的生成建模框架，推动了图像和视频生成任务的最新技术。在这项工作中，OpenAI团队结合这两种方法来解决文本条件图像生成问题。  
> OpenAI研究科学家Prafulla Dhariwal表示：“DALL-E 1刚刚从语言中采用了GPT-3方法，并将其应用于生成图像：我们将图像压缩成一系列单词，然后才学会预测接下来会发生什么”。  
> 但是单词匹配并不一定能捕捉到重点，而且预测过程限制了图像的真实性。  
> CLIP的设计目的，是以人类的方式查看图像并总结其内容，而OpenAI在这个过程中迭代创建了 **“unCLIP”——一个以描述开始并朝着图像生成目标运行的版本。**  
> DALL-E2使用一种 diffusion model 生成图像，Dhariwal将其描述为从“一袋点状物”开始，然后以越来越大的细节填充图案。  
> *一份关于unCLIP的研究表示，它部分地躲开了CLIP一个非常有趣的缺点：人们可以通过在一个对象（比如史密斯奶奶的苹果）上标记一个表示其他东西（比如iPod）的单词，来愚弄模型的识别能力。*

--------------------

## 总结 ##

除此之外，DALL·E 2仍具有许多有趣的功能值得我们去开发，我们也期待未来它给我们带来更亮眼的表现。  
*Dhariwal表示：“我们希望继续进行分阶段的过程，这样就可以不断从得到的反馈中评估如何安全地发布这项技术”。*

![在这里插入图片描述][4fb1b46833cf4451bf5218dff1f750a3.gif_pic_center]

[参考文献][Link 2]  
[DALL·E 2官网][DALL_E 2]

[Link 1]: https://blog.csdn.net/weixin_73602725?type=blog
[87a870f089db4582a2fabfee0279411d.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/b5f705cfd2554987ade1e501e6f24b30.jpeg
[ae861fc0c45c42df841c0a6d81b6fc4a.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/a80c3216a7744681824e222630dc8024.jpeg
[DALL-E 2]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/7b49baf45907456fa08aa4523f25c79a.jpeg
[f24bb07be8c24556a6b6ca668de9c43e.jpeg_pic_center]: https://img-blog.csdnimg.cn/f24bb07be8c24556a6b6ca668de9c43e.jpeg#pic_center
[8b2128a146b14174a44a942cbbfb8559.jpeg_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/c89107d0d8b54ca093332700571193b5.jpeg
[4fb1b46833cf4451bf5218dff1f750a3.gif_pic_center]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/11/748232892d4d439499242d6b25bd6497.gif
[Link 2]: https://cdn.openai.com/papers/dall-e-2.pdf
[DALL_E 2]: https://openai.com/product/dall-e-2