使用大世界模型(LWM)一次性解读大量数据 | 环形注意力技术助力多模态生成

发布时间:2024-05-26 10:35:37 浏览量:191次

大语言模型(LLM)在生成文本内容方面非常强大,但在理解、生成视频、图像等方面稍显不足。Sora的爆红让人们意识到未来主流模型必定是多模态生成和理解。加州大学伯克利分校的研究人员开源了一种训练数据更多、理解能力更强的基础模型——大世界模型(LWM)。

LWM是一种通用的多模态自回归模型,一次可精准解答大量视频、文本数据。具有高效的信息检索能力,同时具备文本生成视频、图像的功能,在github获得超过6000颗星。

LWM 模型介绍

LWM通过Ring Attention在长序列上进行扩展训练,无需额外内存、算力,并降低计算复杂度。保持模型对长距离依赖的捕捉能力,提高数据处理效率。

[获取更多信息及咨询: 点击咨询]

热门课程推荐

热门资讯

请绑定手机号

x

同学您好!

您已成功报名0元试学活动,老师会在第一时间与您取得联系,请保持电话畅通!
确定