火星网校
Meta推出全新文生图模型CM3Leon，引领多模态语言模型新风向
发布时间：2024-08-17 14:27:01 浏览量：114次
作者 | 凌敏、核子可乐
Meta 开发出文生图模型 CM3Leon
近日，Meta 公司宣布开发出一款名为 CM3Leon（发音类似「chameleon」）的文生图模型，该模型能够独力解决文本到图像和图像到文本的双向生成任务。
Meta 表示：“在打造高质量生成模型的探索之路上，我们相信 CM3leon 在各类任务中的强大性能，正是迈向高保真度图像生成与理解的重要一步。像 CM3leon 这样的模型终将成为元宇宙中的创造力源泉与应用成果，我们也期待继续突破多模态语言模型的新疆界、未来将更多优秀模型呈现在大家面前。”
据介绍，CM3leon 是首个使用纯文本语言模型配方改编和训练而成的多模态模型，并经历了大规模检索增强预训练和随后的多任务监督微调（SFT）阶段。CM3Leon 采用了基于 token 的自回归模型方法。
Meta 表示，尽管训练时的计算量仅相当于以往基于 Transformer 方法的五分之一，但 CM3leon 在文本到图像的生成方面还是获得了同类领先的性能。CM3leon 既具备自回归模型的功能多样性和有效性，也保持着较低的训练成本和良好的推理效率。作为一套因果掩码混合模态（CM3）模型，它能够以其他图像和文本内容的任意序列为条件，生成相应的文本与图像序列。这极大扩展了以往大模型只能从文本到图像、或者只能从图像到文本的功能局限。
一般来讲，纯文本生成模型往往会针对各类不同任务进行多任务指令调整，借此增强其遵循指令提示的能力；而图像生成模型则更多适配特定任务。Meta 将大规模多任务指令调节运用到 CM3leon 的图像和文本生成当中，事实证明能够显著提高图像标题生成、视觉问答、基于文本的图像编辑和按条件生成图像等能力。这也成为强有力的实例，证明为纯文本模型开放的扩展配方也能直接推广到基于 token 化的图像生成模型当中。
Meta 称，与目前广泛使用的图像生成基准（零样本 MS-COCO）进行性能比较时，CM3leon 获得了 4.88 的 FID，超越谷歌的文本到图像模型 Parti，证明了自身技术的先进性。
此外，CM3leon 还表现出令人印象深刻的复杂组合对象生成能力。CM3leon 在各类视觉语言任务中均表现良好，包括视觉问答和生成长格式标题。由于训练数据集仅包含 30 亿文本 token，因此 CM3leon 的零样本性能也超越了由更广泛数据集训练而成的、体量更大的其他模型。
CM3leon 是如何打造出来的？
据介绍，CM3leon 架构采用的是类似基于文本类模型、已经成熟的纯解码器 Transformer。但它的独特之处，在于能够同时输入和生成文本加图像。正是凭借这种能力，CM3leon 才得以成功解决前文提到的各项任务。
训练方面，Meta 表示，通过一系列努力，CM3leon 的训练检索得到了增强，大大提高了模型成果的效率和可控性。此外，Meta 还根据各种不同图像和文本生成任务对模型进行了指令微调。
随着 AI 行业的不断发展，像 CM3leon 这样的生成模型正变得越来越复杂。这些模型通过数百万的示例图像接受训练，学习视觉效果与文本之间的关系，但同时也可能反映训练数据集中存在的偏差/偏见。Meta 称，目前 AI 行业仍处于理解和应对这些挑战的早期阶段，提升透明度才是加速解决这些问题的关键。
Meta 使用许可数据集作为 CM3leon 的训练素材。在预训练阶段，Meta 使用了数百万张来自 Shutterstock 的授权图片，有着高达 70 亿个参数，这也达到了 OpenAI EALL-E2 模型的两倍以上。
Meta 方面表示：“在文本到图像生成领域，图像数据来源的道德影响已经引发了广泛的讨论。在这一研究中，我们只使用 Shutterstock 上的经过授权的图像，因此可以避免与图像所有权和归属相关的担忧，同时不会牺牲性能。”
事实证明，即使使用与先前所有模型的训练数据都截然不同的数据分布，仍可实现强大的性能。通过全工作流程的透明展示，Meta 希望鼓励生成式 AI 领域能够迎来更多合作与创新，打造出不仅更准确、而且对每个人都更加公平和公正的 AI 模型。
CM3leon 的跨任务执行
CM3leon 的强大之处在于更好地遵循输入提示以生成更连贯的图像。例如，多数原有图像生成模型都难以准确还原全局形态和局部细节，而 CM3leon 在这方面表现出色，以下是 CM3leon 在各类任务中的表现（所有任务均由单一模型处理完成）
文本引导的图像生成与编辑
一般来说，如果约束条件要求将复杂的对象或提示全部体现在输出结果中时，图像生成模型往往难以很好地完成工作。这就让文本引导的图像编辑（例如“将天空的颜色更改为蔚蓝色”）更具挑战，因为模型需要同时理解文本指令与视觉内容。CM3leon 在这类场景下表现良好。
文本到图像
给定具有潜在高组合度结构的提示文本，生成遵循提示的连贯图像。
例如，CM3leon 根据提示词创建了以下四幅图像：
- 撒哈拉沙漠中戴着草帽和彩色太阳镜的小仙人掌；
- 人手特定照片，高质量手部模型；
- 动漫风格的浣熊角色准备用武士刀展开战斗，蓄势待发，幻想风，插图风格；
- 奇幻风格的停车标志，内容为“1991”。
文本引导的图像编辑
给定图像与文本提示，根据文本说明对图像内容做编辑处理。
文本任务
CM3leon 模型还能按照一系列不同揭示词生成或短或长的标题，并回答关于图像内容的问题。
例如，图像内容为一只狗叼着一根棍子。
提示问题: 狗叼着什么？
模型输出: 棍子
提示词: 详细描述这张图像的内容。
模型输出: 在这张图片中，有一只狗嘴里叼着一根棍子。地面有草覆盖，背景中是一片林地。
结构引导的图像编辑
结构引导的图像编辑不仅要求模型正确理解并解释文本指令，还需要在输入中自行获取结构或布局信息。而 CM3leon 同样展现出强大能力，在对图像进行视觉连贯且匹配背景的编辑的同时，也能严格遵守给定的结构或布局指引。
物体到图像
根据给定的图像边界框生成文本描述，再将结果生成为新图像。
抠图
根据给定的图像（无文本类）抠图并生成新的图像。这里的输入，代表我们希望进行抠图的原始素材。
超分辨率结果
以上生成的所有图像均为 CM3leon 模型的原始输出结果。当然，图像生成还涉及另一种常见技巧，就是单独做超分辨率训练，借此根据原始模型生成分辨率更高的新图像。CM3leon 在这项任务上同样表现出色。
每段提示词对应四张示例图像：
- 一杯热气腾腾的咖啡，以山脉为背景，公路旅行中的小憩；
- 夕阳下美丽而雄伟的道路，审美化构图；
- 湖中央的圆形小岛，湖畔有森林分布，高对比度。
以下是更多生成示例：
- 海龟在水下游泳，审美化构图，奇幻风格；
- 大象在水下游泳，审美化构图，奇幻风格；
- 羊群，审美化构图，奇幻风格。
参考链接：
点击此处查看更多详情。
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
9. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
