火星网校
国内科研团队推出视频生成新利器，Latte带来新体验
发布时间：2024-05-20 16:50:03 浏览量：161次
哎呀，来来来，一直这两天全网都在热议那个爆火的Sora，现在让我们关注国内。就在前两天，Latte发布了，而且有源码，可复现！
中国的研究团队真是厉害，推出了这么厉害的东西。前几天刚刚有一个爆火的视频生成模型Sora，这不，我们中国也有了自己的视频生成模型。
这篇文章的核心就是提出了一个新的想法，名叫Latent Diffusion Transformer，简称Latte，主打视频生成。先是从视频里抠出来一堆时空token，然后通过一系列的Transformer模块，在所谓的潜在空间里模仿视频分布。因为视频里的token实在是多得很，他们还特别设计了四个高效的变种，这样更好地处理视频的空间和时间维度。
为了让生成的视频更加优质，团队进行了一系列严格的实验分析，确定了Latte的最佳操作方式，包括怎样嵌入视频片段、选择模型变种、注入时间步信息、使用时间位置嵌入和学习策略等等。
综合评估表明，Latte在多个标准视频生成数据集上都表现得非常出色，比如FaceForensics、SkyTimelapse、UCF101和Taichi-HD。而且，他们还将Latte应用到了文本到视频生成（T2V）任务上，与近期的T2V模型相比，Latte同样表现不俗。
可以说，Latte为未来的研究提供了重要的视角，即如何将Transformers与扩散模型结合起来，用于视频生成。
接下来让我们看看这篇文章里的实验成果，令人印象深刻。首先，让我们来谈谈无条件生成。在Taichi-HD、FaceForensics、SkyTimelapse这三个数据集上，分辨率为256x256的视频生成方面，Latte展现了出色的能力。不论是太极高清视频、面部伪造检测素材，还是天空的延时摄影，Latte都能生成出精美细致的视频。
接着，我们看看条件生成，分为基于类别和基于提示。基于类别，给Latte一个标签比如“UCF101”，它就可以准确生成出你想要的视频，在UCF101数据集上表现出色。而基于提示的条件生成更加酷炫，只需简单描述，比如“夜幕下，一场史诗级的龙卷风正袭击着闪光的城市”，Latte都能轻松实现，充满创意。
最后，和PVDM、DIGAN、LVDM、StyleGAN-V等现有技术相比，Latte在很多方面展现了更优的性能，无论条件生成还是无条件生成，都展现出色，生成的视频质量让人惊叹。
中国的科研团队这次实力十足，展示了中国在AI视频生成领域的强大实力和创新能力。这成果让人对未来充满了无限的想象和期待！
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
9. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
