OpenAI全新发布的Sora，到底意味着什么?

超、凢脫俗 2024-04-22 15:24 77阅读 0赞

> 16日凌晨，OpenAI发布了文本视频的工具（text-do-video）Sora，整个世界再次被震撼。  
> Sora的出现，到底意味着什么？

#### 目录 ####

*  Sora的背景与概述
 *   *  Sora是什么？
     *  能为我们做些什么？
     *  存在的一些问题
 *  文本视频模型效果展示
 *   *  一年前AI生成的视频
     *  一位24岁女性在摩洛哥马拉喀什的魔法时刻眨眼的极端特写镜头
     *  一堆金毛巡回犬的幼崽在雪地里玩耍，它们的头从雪中探出，满是雪花
     *  摄像机围绕一大堆展示不同节目的复古电视旋转
     *  一个机器人在赛博朋克设定中的生活故事。
     *  纽约城像亚特兰蒂斯一样沉没。鱼、鲸鱼、海龟和鲨鱼在纽约街道中游动。
     *  一个形状如同巨人的巨大云朵盘踞在地球上方，向地球发射雷电。
 *  Sora的基本原理
 *   *  自我学习物理规律
     *  世界模型
 *  通用人工智能

## Sora的背景与概述 ##

### Sora是什么？ ###

> 简单来说，就是OpenAI用GPT的能力来做视频文本对齐，通过将多个高分率视频素材进行降维处理，然后进行密集训练，最后达到一个想看什么就生成什么视频的效果。

Sora的底层同样采用的是Transformer架构，建立在过去的DALL·E和GPT的研究基础之上，采用了DALL·E3的重述技术，所以能更好的遵循用户的文本描述，并且也有极强的扩展性。

![在这里插入图片描述][d6fdcb510d8444c5aff2f8ab99034a1b.jpeg]

### 能为我们做些什么？ ###

> Sora能为我们做什么呢?我们只需要一段文本描述，就可以生成60秒1080P的视频，不光场景细腻、角色的表情也栩栩如生。

此外，Sora还能从静态图像中生成动画或拓展现有视频，从而创造多个画面，并且能够保持角色和视觉风格的一致性。

![在这里插入图片描述][64723b06a6df4e5c973d3490488b44ef.jpeg]

### 存在的一些问题 ###

1.  该模型会混淆提示的空间细节，并且难以准确模拟复杂场景中的物理现象。如下图，老人吹蜡烛前后，火苗没有丝毫变化。

![在这里插入图片描述][127ff8fea1ea4808978ecf8fc9a2f764.png]

1.  它无法理解一个事例中包含的因果关系，比如酒杯摔碎，但是液体的流动和玻璃的破裂关系。  
    ![在这里插入图片描述][ea56e64c0b4f43aeb8e1c8bb6bcd703b.png]

## 文本视频模型效果展示 ##

### 一年前AI生成的视频 ###

![在这里插入图片描述][b0f8832d74204c489e91360b903f4f72.gif]

### 一位24岁女性在摩洛哥马拉喀什的魔法时刻眨眼的极端特写镜头 ###

![在这里插入图片描述][0e7f0fb5af6d4f2094889dd66babfcbb.gif]

### 一堆金毛巡回犬的幼崽在雪地里玩耍，它们的头从雪中探出，满是雪花 ###

![在这里插入图片描述][b30365859c014637b1d82b2e487e2125.gif]

### 摄像机围绕一大堆展示不同节目的复古电视旋转 ###

![在这里插入图片描述][0d3ba760014346f68f83647da393187c.gif]

### 一个机器人在赛博朋克设定中的生活故事。 ###

![在这里插入图片描述][f1d0ea6396d34aa9bf5a20ee5253ff83.gif]

### 纽约城像亚特兰蒂斯一样沉没。鱼、鲸鱼、海龟和鲨鱼在纽约街道中游动。 ###

![在这里插入图片描述][b8f391b4dd7444d18f23baddb0fcf039.gif]

### 一个形状如同巨人的巨大云朵盘踞在地球上方，向地球发射雷电。 ###

![在这里插入图片描述][4f0b0e4113e04f7893f642588d4354c5.gif]

## Sora的基本原理 ##

> OpenAI官方公布的Sora的技术文档，它没有透露太多关于Sora的技术细节，但大致介绍了Sora的基本原理：简单来说，Sora就是通过大量的学习视频来理解现实世界的动态变化，并用计算机视觉技术来模拟这些变化，并创造出全新的视觉内容。换句话说，就是Sora它所学习的不仅仅是视频里面的画面、像素点之类的，它同时也在学习视频里面那个世界的“物理规律”。

![在这里插入图片描述][fedd8bf13dc04e1f9fdc49447e6ffd9d.jpeg]

### 自我学习物理规律 ###

> 听上去可能让人觉得难以费解，打个比方，比如你咬一口食物，食物这个时候应该出现一个咬痕，这就是物理规律。

如果咬完食物，它还是完整的状态，那它就不符合物理规律，现在大部分的视频软件并不能理解这些所谓的物理规律，它们所处理的对象只是画面，而不是画面里面的食物和人，以及它们之间的关系。

但是Sora似乎能够理解它们之间的关系，当Sora学习人咬食物的视频时，它记住的不仅仅是食物和嘴在一起的具体画面，还有咬过就会留痕的这个物理规律，当它以后有生成视频的时候，一旦涉及到咬这个动作，Sora就会知道下面应该会出现一个咬痕了。

### 世界模型 ###

> 这是用Sora生成的一个咬食物的视频，用的是先记忆，再预测，这种理解世界的方式，是人类理解世界的方式，这种方式还有个名字，它被称为世界模型。

![在这里插入图片描述][f15bd363a7b241b19c5e071394e9b95d.gif]  
那什么叫世界模型，举个例子，你的记忆当中一定知道，一杯咖啡大概有多重，所以当你拿起一杯咖啡的时候，大脑准确预测说应该用多大的力，于是杯子用那个力就会被顺利拿起来，人都不会有意识的，但是如果这个杯子里面，碰巧没有咖啡呢，你就会用很大的力，去拿这个很轻的杯子，这个时候你的手就会立刻感觉不对，但杯子已经飞出去了，不过没关系，很快在你的记忆当中就会就会加上一条：**杯子也有可能空的时候，于是，下次再去预测杯子重和不重的时候，你就不会太乱使力。**

你做的事情越多，你的大脑里就会形成越复杂的世界模型，用于更准确的预测这个世界的反应，这就是人类与世界交互的方式：世界模型。

## 通用人工智能 ##

> Sora的技术文档里面有这么一句话，我们的结果表明，扩展视频生成模型是朝着构建通用物理世界模拟器迈进的有希望的模型，这样感觉很复杂，它实际是什么意思呢?

它的意思就是，OpenAI它最终想要做的，不是一个文本视频的工具，而是一个通用的物理世界模拟器，他们真正想要做的是为真实世界建模，而Sora只是验证了这条道路可行。

Sora的出现可能意味着，通用人工智能，也就是所谓的AGI正在加速到来，这才是OpenAI真正想做的事情。

为什么Sam Altman要筹集七万亿美金来重塑全球AI芯片的基础设施，7万亿相当于全球GDP的10%,它能买下2.5个微软，4个英伟达，或者11.5个特斯拉，为什么?

因为通往通用人工智能的道路上，除了要算法，还需要大量的算力，Sora来了，通用人工智能还会远吗?

这个世界正在发生着难以想象的变化，看似很远，但又瞬间近在眼前。

[d6fdcb510d8444c5aff2f8ab99034a1b.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/746c7366e5f84cb7a8f7d91f8e9c5c16.jpeg
[64723b06a6df4e5c973d3490488b44ef.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/c9c453a4da4646b4a5e150f13796eca6.jpeg
[127ff8fea1ea4808978ecf8fc9a2f764.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/53a3d3de62264c8f81d508799b8d3773.png
[ea56e64c0b4f43aeb8e1c8bb6bcd703b.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/814b89c4ab5b4e98ae52f04c9a85701a.png
[b0f8832d74204c489e91360b903f4f72.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/e2079498710b481da7ee43cf0a480160.gif
[0e7f0fb5af6d4f2094889dd66babfcbb.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/b7318e8b5e6548f5859660d7d1a221b0.gif
[b30365859c014637b1d82b2e487e2125.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/7254579ef136488dbe1d2a0e20457113.gif
[0d3ba760014346f68f83647da393187c.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/082d0ca650474cee9522283ed04775dd.gif
[f1d0ea6396d34aa9bf5a20ee5253ff83.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/fe71d915048240d89a90ee2bc158895d.gif
[b8f391b4dd7444d18f23baddb0fcf039.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/e076c28b5785460988015cc6973d7565.gif
[4f0b0e4113e04f7893f642588d4354c5.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/f859eb2de2d144bdbd428e27992d294f.gif
[fedd8bf13dc04e1f9fdc49447e6ffd9d.jpeg]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/2d12c00801a74d52ad016ac2b4d5a69a.jpeg
[f15bd363a7b241b19c5e071394e9b95d.gif]: https://image.dandelioncloud.cn/pgy_files/images/2024/04/22/cfc5ad2570c845eb910a641025a0a835.gif