火星网校
麻省理工、Meta开源：无需人工标注，创新文生图模型
发布时间：2024-08-17 12:21:27 浏览量：221次
文生图领域一直面临着一个核心难题，就是有条件图像生成的效果，远超无条件的图像生成。有条件图像生成是指模型在生成图像的过程中，会额外使用类别、文本等辅助信息进行指导，这样可以更好地理解用户的文本意图，生成的图像质量也更高。
而无条件图像生成完全基于模型自己学习的数据分布，难以形成有效的指导，所以，我们经常会有的AI平台生成的图像驴唇不对马嘴，或者图像有重大缺陷。
为了解决这个问题，麻省理工学院和Meta的AI研究人员开发了RCG模型（Representation-Conditioned imageGeneration）。
RCG是一种创新性的“基于表示条件的图像生成”模型。所谓“表示条件”，就是让模型自己从数据中提取表示来进行指导，而无需任何人工数据标注。所以，RCG能以更小的消耗，生成与有指导模型相媲美的图片。
开源地址：点击咨询
论文地址：点击咨询
从RCG的论文来看，其图片生成流程采用了拟人化思路。先规划出要生成图片的大体轮廓，然后再根据这一构思去绘制图片的细节。
就像我们人类画画一样，先在大脑中构思画作的整体思路，例如，想画一匹马，先想象马的形体；想画一个苹果，先想象个大红色的圆球，然后根据整体“表示”画出图像的细节。
图像编码器
图像编码器的作用是从图像中提取有意义的表示。这些表示在保留图像的语义信息的同时，也要比较简单、易于建模。
目前流行的自监督学习算法主要可以分为两大类:1）基于预训练任务，这类方法会人为设计一个预训练任务，让模型去预测一些伪标签。比如旋转预测任务，让模型预测图像被旋转的角度等。
2）基于对比学习，这类方法会构造正样本和负样本。让模型学会区分和拉远它们在表示空间的距离，代表性算法包括MoCo、SimCLR等。
实验证明，基于对比学习方法，可以获得更加有效的图像表示，因此RCG选择了这种方式，并使用了MoCo v3进行预训练，这是图像分类任务上效果最优的自监督对比学习算法之一。
为了使表示维度可控，RCG使用了带有预测头的Transformer模型。预测头会规划成256维的向量，这样就获得了编码器输出的表示。该表示同时还进行了归一化处理，以符合高斯分布。
表示生成模块
在提取到图像的表示之后，下一步就是对这些表示进行采样。通常，我们希望模型可以捕捉表示空间的分布，具有生成各种新颖表示的能力，从而指导下游的图像生成。
为此，RCG提出了表示扩散模型RDM。它使用全连接网络作为主干，包含数个残差块。每个块里面包括激活函数、线性层等。
RDM模块训练时，采用了DDIM算法。即先将真实图像表示加入高斯噪声，让RDM去除噪音并重构原始表示；生成时，从完全噪声表示出发，逐步采样清晰的表示。
RDM模块的参数和计算量很小，因此即使增加块数和宽度，也不会带来太大的额外负担。这样我们可以充分发掘表示空间的丰富信息，指导下游生成。
像素生成器
提取表示并对其建模之后，最后一步就是根据表示来生成图像像素。RCG中的像素生成器可以使用任意的条件图像生成模型，只需要将原有的条件（比如类别标签）替换为RDM生成的表示即可。
训练时，MAGE接收带有遮蔽（Mask）的图像作为输入，其中带X的是被遮蔽的，同时也输入对应图像的表示，然后学习重构被遮蔽的内容。
为了验证RCG模型的效果，研究团队基于ImageNet测试平台中的256×256数据集进行了实验。
结果显示，RCG的FID分数为3.56和IS的253.4，超过了之前最好的无条件生成模型MAGE的结果，与当前状态最好的有条件模型CDM差不多。
本文素材来源RCG论文，如有侵权请联系删除
END
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
9. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
