火星网校
OpenAi Sora AI生成视频技术文档解读
发布时间：2024-03-28 14:33:09 浏览量：219次
2月15日，OpenAi公司发布了新一代的文本生成视频的AI大模型Sora。技术文档同时也发布在了他的官网上。技术文档中主要粗略概括了Sora的技术实现路径和应用场景。
大语言模型的基础是语言是由一个个的词块（text token）组成，有了词块我们才可以训练机器已更好的方式组织这些词块。相比较而言，Sora作为一个视频生成模型，他的基础是视觉块（visual patches）。她的主要原理是将训练视频转换成视觉块，然后将解析好的视觉块再进行转换。
在生成视频的时候，Sora主要采用的是Diffusion Model。这个model在语言识别，机器视觉以及图片生成有重要的作用。在视频生成方面，Diffusion Model也很有用处
Sora除了通过文本生成视频，也可以通过上传图片生成视频。下图是用图片生成的一个视频
原图
Prompt：Monster Illustration in flat design style of a diverse family of monsters. The group includes a furry brown monster, a sleek black monster with antennas, a spotted green monster, and a tiny polka-dotted monster, all interacting in a playful environment.
同样的使用国内的生成视频工具也生成了视频（
https://makepixelsdance.github.io/），效果如下
生成效果也挺好，不过这些怪物不如OpenAi里面那些怪物的动作幅度大。OpenAi生成的视频里面的怪物更加有喜感一些。
其它的Sora也可以进行视频的拼接以及增加特效等。
当然，在技术文档中OpenAI也说到了Sora的局限性，在模拟物理世界的一些现象的时候仍然不如人意，比如玻璃被摔碎的现象等。
总的说来，对于这个领域的专家，笔者感觉，这次的发布并没有很惊艳的感觉。AI生成视频的工作还有很多的工作要做。
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
7. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
10. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
最新文章
