火星网校
史上最强的图像生成器来了，这次不仅更逼真，甚至还会写字
发布时间：2024-03-26 20:27:17 浏览量：183次
那个和 Midjourney 打得难舍难分，引发了一波买显卡 “ 炼丹 ” “ 炼妹子 ” 风潮的 Stable Diffusion ，又推出船新版本了。
就在昨天晚上， Stability AI 在官网来了一波更新，预告了一波 Stable Diffusion 3 。
根据介绍，新版本在多主题提示、图片质量还有文字渲染能力上都进行了次大升级，模型参数量在 800M-8B 之间，并且延续了他们家一如既往开源的优秀传统。
更重要的是，它和 Sora 一样当起了维新派，摒弃了业内常用的 U-NET 架构，加入 Transformer 和 Diffusion 结合的大家族。
而具体的原理和进步啥的，看不懂没关系，咱们过会儿再聊。
直接先来一波全新的高清无码大图，让大伙们见识下 Stable Diffusion 3 的斤两。
其中文字渲染能力，是这次 Stable Diffusion 3 比较突出的一个亮点。
因为不咋识字儿、不怎么会写字儿，可以说是目前文生图、文生视频的通病了。
就拿世超用 DALL·E 3 生成的 “ Chaping 青花瓷 ” 为例，上面汉字不明所以。。。最重要的 " Chaping " 还拼写错了。。。
基本上可以说自 AI 画图不会画手之后，把文本渲染成图像里准确的文字，也是个难题。
而新版本的 Stable Diffusion ，文化水平就明显高了不少。
根据官网给出的案例，给它提示词是 “ 一辆跑车的夜间照片，侧面写着 ' SD3 ' ，汽车在赛道上高速行驶，巨大的路标上写着 'Faster' 的文字 ” 。
生成的图片不但符合描述，文字的位置也没毛病，字体也很清晰。
但当我们用同样的提示词在 DALL·E 3 生成的时候，文字渲染效果就有些一言难尽了。
Faster 倒是没错，但侧面的 SD3 没有一张图是准确的。
还有这张， Stable Diffusion 3 生成的是这样的。
而 DALL ·E 3 连 incredible 都没拼对。
只不过，现在目前的文字渲染暂时只支持英文，中文还得等上那么一段时间。
再来看这次 Stable Diffusion 3 的另一大更新——多主题提示，大伙儿可以把这个理解成， AI 在生成图片的过程中漏没漏提示词。
举个例子，这张图的提示词里，大致包括了宇航员、穿着芭蕾舞短裙撑着粉色雨伞的猪、戴着礼帽的知更鸟、还有角落里的 “Stable Diffusion” 几个关键。
咱先不提图片的质量如何，但该生成的东西起码 AI 都没落下。
不过有意思的是，在这条推文下有网友把同样的提示词，分别喂给了 Midjourney 、 DALLE-3 和 Bing 。
看下来， DALLE-3 、 Bing 和 Midjourney 要不就是知更鸟少了帽子，要不就是 “Stable Diffusion” 单词拼写错误，没一个能打的。
最后，是文生图模型最为关键的图像质量。
Stable Diffusion 3 也是人狠话不多， po 了一张这样的图片。
世超第一眼看到的反应：这难道不是照片？？？
手帕上的纹理还有老虎刺绣，未免有点过于逼真了吧。。。
还有这张苹果，也是能以假乱真的程度。
而之所以 Stable Diffusion 3 这次能有这么大改变，很大可能要归功于一个跟 Sora 同源的架构。
以前的 Stable Diffusion ，一般都是用 U-net 架构 + Diffusion 扩散模型。而 Transformer ，也多是用在像 GPT 类大语言模型上，两种技术各管各的。
而 OpenAI 则觉得 GPT 这把咱用Transformer 打赢了，就不改 banpick 了吧。。。于是就把Transformer 架构和 Diffusion 结合了起来，用在视频上，一顿魔改和大力出奇迹后，就整出了 Sora 。
Stability AI 团队也是英雄所见略同，把Diffusion Transformer （ 简称 Dit 架构 ）用在了 Stable Diffusion 3 上。
有意思的是，关于 DiT 架构的论文是 AI 大佬谢赛宁和 William Peebles 一起写的。
这个 William Peebles ，正好是 Sora 团队的负责人之一。
Stability AI 的老板 Emad 也在 X （ 推特 ）上表示，这次确实用到了和 sora 类似的技术。
另外，这次 Stable Diffusion 3 还用到了一个 Flow Matching （ 流匹配 ）技术。
因为技术原理过于复杂，咱们可以简单理解成，这是一种用来训练扩散模型的方法。
如果把扩散模型比作魔法画笔，那这个流匹配的作用就是升级画笔，让画笔可以更快、更准确地画出你想要的东西。
世超估计也正是因为这个技术， Stable Diffusion 3 的文化水平才暴增的。
总而言之，光从现有的官方效果图和技术公开来看，这次 Stable Diffusion 3 的出现，又把文生图卷到了一个新高度，也证明了 Dit 架构在文生图、文生视频领域确实是个可行的新方向。
反正这么下去，保不齐下一波谁家又会拿出重磅更新。
不过大伙儿也别太焦虑，该吃吃该喝喝，要是有时间学学怎么用 AI 也行。
最后提个醒， Stable Diffusion 3 现在还没正式公测，千万别又让卖课的给骗了。
热门课程推荐
热门资讯
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
2. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
4. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
5. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
8. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
9. AI显卡绘画排行榜:4090无悬念，最具性价比出人意料
在AI绘图领域，Stable Diffusion的显卡绘图性能备受关注。本文整理了Stable Diffusion显卡的硬件要求和性能表现，以及2023年3月显卡AI绘图效率排行榜和性价比排行榜。欢迎查看最新的AI显卡算力排行榜。
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
