OpenAI最新成果:Sora开启视频生成技术的新纪元

GPT452024-02-18 19:26:11196

昨天OpenAI发布了Sora,其热度引起了广泛关注。每当其生成的视频发布,便迅速走红网络。

*Sora视频生成示例1*

学术界对此反响强烈,众多知名学者开始公开讨论。

纽约大学的助理教授,ResNeXt的主要作者,谢赛宁,直言Sora将彻底改变视频生成技术。

英伟达的高级研究科学家,Jim Fan,激动地表示这是视频生成技术的GPT-3时代。

尤其在技术报告发布后,讨论愈加激烈。由于报告中很多细节未明确说明,学界只能进行推测。

包括推测"Sora是基于数据驱动的物理引擎",以及"Sora建立于DiT模型之上,参数量可能仅为30亿"等。

因此,Sora的成功和其对视频生成领域的贡献成为热议话题,社区很快提出了一些可能的解释。

*Sora视频生成示例2*

视频生成领域的里程碑

Sora是一个经过不同时长、分辨率和宽高比的视频及图像训练的扩散模型,采用了Transformer架构,实质上是一种“扩散型Transformer”。

官方的技术报告概述了以下几个关键点:

- 视觉数据的创新性转换,Sora使用“Patches(补片)”来统一视觉数据的不同表现形式,通过压缩视频到低维潜空间并将其分解为时空补片来实现。
 
- 视频压缩网络的训练,该网络降低视觉数据的维度,完成了Sora的训练基础。OpenAI同时训练了一个专用解码器。

- 时空补片技术的应用,使得Sora能够训练并生成不同分辨率、时长和宽高比的视频和图像。

- 发现扩展Transformer也适用于视频生成,随着训练资源的增加,视频样本质量显著提升。

- 视频多样性的实现,Sora优化了视频的构图和布局,避免了常见模型的盲目裁剪,能够捕捉完整场景。

- 语言理解能力的增强,OpenAI采用了DALL·E 3的重新标注技术,通过GPT将用户的简短提示转换为详细说明。

技术报告虽然未能详尽解释所有核心问题,但Sora的效果展示,包括文转视频、视频转视频以及图片生成等,已充分展示了其强大能力,引起了广泛的猜测和讨论。

*Sora视频生成示例3*

互联网业界大佬对Sora的看法


当被询问对 Sora 的看法时,一位观察者提出了几点见解,概括地说,他们认为人工通用智能(AGI)的实现即将到来,预计在未来几年内实现:


首先,技术竞争的核心在于增加人才密集度和深化技术积累。很多评论者指出,Sora 在性能上显著超过了 Pika 和 Runway,这一现象很常见。与初创团队相比,拥有核心技术的公司如 OpenAI 的实力显得尤为强大。有观点认为,借助 AI,初创公司仅需维持小规模运作,但最近的发展再次证明这种看法极为短视。


其次,AI 不一定立即颠覆所有行业,但它能够促进更广泛的创意表达。对于 Sora 对影视行业的影响,有人担忧其可能的负面效果,但观点持有者认为这种担忧是不必要的。尽管机器能够制作高质量视频,但视频的主题、剧本编写、镜头规划及对话搭配仍旧需要人类的创意,至少要有人提供创意提示。视频或电影由众多短片段构成。Sora 可能对广告、预告片和短视频产业造成重大影响,但不太可能迅速超越 TikTok,反而可能成为 TikTok 的一种创作工具。


第三,国内大模型的发展虽表面看似已接近 GPT-3.5 水平,但与 GPT-4 实际上还有一年半的差距。信赖 OpenAI 或许还隐藏着更多未公开的技术,无论是 GPT-5 还是机器的自我学习能力,都包含在内。OpenAI 以其营销策略著称,懂得如何把握发布节奏,而其手中的技术并未全部展现。这表明中国在 AI 领域与美国的差距可能正在扩大。


第四,大语言模型的突出之处不在于简单填空,而是其能够全面理解世界知识。许多人技术和体验层面分析 Sora,强调其产出的视频能保持多镜头一致性,仿真自然世界和物理规则,但这些只是表面现象。Sora 的技术途径完全不同,它不仅仅是用 Diffusion 技术制作视频,而是结合大模型的优势,实现了对现实世界的深刻理解和模拟,这才是关键所在。


最后,训练此模型的过程中,OpenAI 阅读了大量的视频内容,结合大模型和 Diffusion 技术进一步了解世界。一旦人工智能能够通过摄像头观察世界,其对世界的理解将大大超越纯文本学习,进而加速向 AGI 的进展,这一进步预计不会需要十年二十年,而是可能在短短几年内实现。

*Sora视频生成示例4*

本文链接:https://lipu365.com/gpt4_gpt5_61.html

chatgpt4实测chatgptplus费用gpt4.0chatgpt4怎么升级如何访问chatgpt4chatgpt4.0付费测试chatgpt4.0官方下载chatgpt只允许会员登录了吗chatgpt会员限制使用次数吗chatgpt开通会员有啥优势

相关文章