火星网校
OpenAI 发布Sora文生视频大模型，一句话便可生成长达一分钟的视频
发布时间：2024-06-13 13:52:18 浏览量：204次
之前我们已经介绍过多个文生视频大模型，包括字节发布的magic video以及stable video diffusion等模型，能根据文本生成对应场景的视频。
文生视频大模型是各大人工智能厂商竞争的核心领域，最新的Sora模型由OpenAI发布。
从官方展示的视频来看，Sora模型的质量和稳定性令人印象深刻，最大的模型能够生成长达一分钟的视频，对自媒体影响将是巨大的。
很多以前的工作针对视频数据的建模使用了各种方法，但Sora是一个视觉数据通用模型，可以适用于不同大小和尺寸的视频，真正的大材小用。
视频数据转化为patch
Sora模型借鉴LLM语言大模型的token方法，在高维空间将视频压缩成patch，适用于不同类型视频和图片的模型训练。
视频压缩网络
OpenAI训练了一个网络，可以降低视觉数据维度，Sora可以在压缩的潜在空间中训练并生成视频。
由于视频由视频帧图像组成，Sora从视频图像提取时空patch作为输入token，从而对视频进行训练。
缩放transformer模型
Sora模型采用了扩散transformer模型，在固定种子和输入视频样本上不断训练，提升生成视频的质量。
Sora不仅支持常见的视频尺寸还可生成各种规格的视频，适用于不同移动端设备。
相比对输入数据进行裁剪，Sora使用原始尺寸视频数据进行训练，输出更加完整的视频。
在语言理解方面，Sora集成了ChatGPT支持，使得模型理解输入文本数据。可生成准确高质量遵循用户提示的视频。
Sora不仅能编辑手输入视频，还可连接不同风格的视频，生成不同尺寸大小的图像。
强大的Sora模型引发了社交媒体热议，尽管该模型刚刚发布，可能会提供API接口供开发者使用。
https://openai.com/research/video-generation-models-as-world-simulators
热门课程推荐
热门资讯
-
1. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
4. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
8. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
9. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
-
10. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
最新文章
