八三看书

手机浏览器扫描二维码访问

sora：openai的＂视频魔法＂到底是什么？（第2页）

比喻一：墨汁可逆——扩散模型的工作原理

Sora本质是个扩散模型，这个技术的核心可以用墨汁扩散又还原来理解。清华朱军团队就用这个例子解释过：把一滴墨汁滴进清水里，墨汁会慢慢扩散，最后整杯水变成均匀的淡黑色，这是扩散过程；而Sora做的是反过来的事——从一杯黑色噪声水开始，通过不断去除杂质，慢慢还原出墨汁最初聚集的样子，只不过这里的变成了视频画面。

具体到生成视频，过程是这样的：

1. 一开始，Sora输出的是完全随机的雪花屏，就像墨汁完全扩散的状态；

2. 它根据你给的文字提示，开始一点点噪声——先模糊地勾勒出场景轮廓，比如有山、有水、有人；

3. 经过几十上百次调整，逐渐添加细节：山的纹理、水的波纹、人的表情，直到生成清晰的视频。

这种方式的好处是，生成的画面更自然，不会有拼接感，而且能保证60秒的长视频从头到尾连贯一致。

本小章还未完，请点击下一页继续阅读后面精彩内容！

比喻二：智能画笔——Transformer架构的妙用

如果说扩散模型是作画方法，那Transformer架构就是Sora的智能画笔。以前的AI视频工具用的是U-Net架构，像个近视眼画家，一次只能看清画面的一小块，画完鼻子忘了眼睛；而Transformer架构像个广角画家，能同时看到整个画面，还能记住每个部分的关联。

比如画一个抛球的人智能画笔会同时关注：人的手臂动作、球的运动轨迹、背景的光影变化，甚至球抛出后空气的轻微扰动。这样一来，球的运动就会符合物理规律，不会出现突然飞上天的离谱情况。

而且Sora还学了DALL·E 3的重述提示词技巧。比如你输入好看的日落海边，它会自动把这句话扩展成更详细的描述：黄昏时分的海边，太阳接近海平面，天空呈现橙红色渐变，海浪轻轻拍打沙滩，远处有归航的小船，沙滩上有零星贝壳。正是这种对文字的深度理解，让它生成的内容更符合预期。

还有个关键技术叫原生规模训练。以前的AI会把所有视频都强行改成正方形，导致画面被裁剪，比如拍宽幅风景时少了一半天空；而Sora能保留视频原来的长宽比，想生成手机竖屏、电影宽屏都能直接搞定，细节不会丢失。

三、横向对比：Sora到底比同类工具强在哪？

Sora不是第一个文生视频的AI，在此之前有Runway、Pika等工具，但它的出现直接拉开了代差。用抖音口播视频电影大片的差距来形容毫不夸张，具体强在三个核心维度：

维度一：时长——从几秒快照一分钟短片

目前市面上的AI视频工具，最多只能生成3-4秒的视频，刚看到点意思就结束了，像个视频快照；而Sora能直接生成60秒的长视频，这个时长已经超过了抖音的平均视频长度，足够讲一个完整的小故事，或者展示一个完整的动作流程。

比如用Runway生成煮咖啡的视频，只能看到放咖啡粉这一个动作；用Sora就能生成从磨豆、放粉、加水、萃取到倒出咖啡的完整过程，甚至能看到咖啡泡沫慢慢升起的细节。

维度二：视角——从固定机位多镜头切换

Runway、Pika这些工具生成的视频，视角都是固定的，就像你用手机对着一个地方拍到底；而Sora能实现多机位拍摄，就像有个专业摄像团队在工作。

举个例子，要拍一个歌手唱歌，Sora能同时生成：全景（展示整个舞台）、中景（歌手全身）、特写（歌手的表情和手势）、侧拍（伴舞的动作）这几个镜头，还能自动切换，比人工剪辑还方便。