火星网校
让AI学会画手的方法来了，输入加buff控制生成细节丨GitHub 4.6k星
发布时间：2024-08-11 19:50:24 浏览量：157次
给画画AI加个buff，画起图像就像开了挂。加个人体骨骼绑定buff，Stable Diffusion直接快进到生成3D动漫：
加个抽象到爆的草图buff，AI变着风格生成“完全一致”的狗子：
就连号称“AI杀手”的手部细节，也能在控制之下画得惟妙惟肖：
这个名叫ControlNet的新AI插件，可以说是给画画AI来了最后的“临门一脚”，原本AI无法控制的手部细节、整体架构，有了它之后，加上Stable Diffusion这样的扩散模型，足以生成任何人们想要的图像。发出不到两天，ControlNet就在GitHub上火了，目前已经狂揽4.6k星：
△“让我们控制扩散模型”
各种效果图更是在推特上爆火，试玩过的网友直呼：
游戏结束！
所以，这个ControlNet究竟给扩散模型加了什么buff？
给AI画画模型加buff
ControlNet的原理，本质上是给预训练扩散模型增加一个额外的输入，控制它生成的细节。这里可以是各种类型的输入，作者给出来的有8种，包括草图、边缘图像、语义分割图像、人体关键点特征、霍夫变换检测直线、深度图、人体骨骼等。
那么，让大模型学会“按输入条件生成图片”的原理是什么呢？ControlNet整体思路和架构分工如下：
具体来说，ControlNet先复制一遍扩散模型的权重，得到一个“可训练副本”。相比之下，原扩散模型经过几十亿张图片的预训练，因此参数是被“锁定”的。而这个“可训练副本”只需要在特定任务的小数据集上训练，就能学会条件控制。据作者表示，即使数据量很少（不超过5万张图片），模型经过训练后条件控制生成的效果也很好。
“锁定模型”和“可训练副本”通过一个1×1的卷积层连接，名叫“0卷积层”。0卷积层的权重和偏置初始化为0，这样在训练时速度会非常快，接近微调扩散模型的速度，甚至在个人设备上训练也可以。例如一块英伟达RTX 3090TI，用20万张图像数据训练的话只需要不到一个星期：
作者基于当前大火的Stable Diffusion进行了具体实现，主要架构如下：
针对不同的输入，作者也给出了对应不同的模型，生成效果也都不错。例如这是采用Canny边缘检测算法检测出的边缘，用于生成图像：
这是基于霍夫变换的直线检测算法生成的直线草图，用于生成各种风格的室内设计：
当然，自己作画也可以，例如这是基于用户草图生成的小龟：
提取深度图，并让AI生成一幅相似的图像，直接举一反五：
语义分割下的游泳池图像，不仅水里有倒影细节，建筑也变化多样：
不过目前来看，最受欢迎的还是基于人体姿态估计算法，控制动漫人物的动作生成：
看到这里，是不是已经有了大胆的想法？（手动狗头）
曾开发爆火AI上色插件
这个项目的作者Lvmin Zhang，2021年本科毕业于东吴大学，目前在斯坦福大学读博。他最出名的项目之一，是2017年开发的AI上色插件style2paints，目前GitHub上已经有15.9k星。
style2paints也经过了好几次迭代，目前即将更新到第五版。这是第四版的效果，只需要线稿，AI就能自动给你的图像完成上色：
除了这个项目以外，他也是CV顶会的常客了。
One More Thing
值得一提的是，现在已经有基于ControlNet的国内产品上线了。这个产品名叫稿定AI，包含照片转插画、插画线稿上色、插画优化翻新等功能，正是基于ControlNet打造。作画效果大概是酱婶的：
热门课程推荐
热门资讯
-
1. 华为手机神奇“AI修图”功能，一键消除衣服！原图变身大V领深V！
最近华为手机Pura70推出的“AI修图”功能引发热议，通过简单操作可以让照片中的人物换装。想了解更多这款神奇功能的使用方法吗？点击查看！
-
近年来,人工智能逐渐走入公众视野,其中的AI图像生成技术尤为引人注目。只需在特定软件中输入关键词描述语以及上传参考图就能智能高效生成符合要求的...
-
想将照片变成漫画效果？这篇文章分享了4个方法，包括Photoshop、聪明灵犀、VanceAI Toongineer、醒图，简单操作就能实现，快来尝试一下吧！
-
4. 一款免费无限制的AI视频生成工具火了!国内无障碍访问!附教程
人人都可以动手制作AI视频! 打开网址https://pixverse.ai/,用邮箱注册后,点击右上角Create,就可以开始创作了。 PixVerse目前有文案生成视频,和图片生...
-
以下是一些免费的AI视频制作网站或工具,帮助您制作各种类型的视频。 1. Lumen5:Lumen5是一个基于AI的视频制作工具,可将文本转换为视频。 用户可以使...
-
6. 零基础10分钟生成漫画，教大家如何用AI生成自己的漫画
接下来,我将亲自引导你,使用AI工具,创作一本既有趣又能带来盈利的漫画。我们将一起探索如何利用这个工具,发挥你的创意,制作出令人惊叹的漫画作品。让...
-
7. AI视频制作神器Viggle：让静态人物动起来，创意无限！
Viggle AI是一款免费制作视频的AI工具，能让静态人物图片动起来，快来了解Viggle AI的功能和优势吧！
-
就能快速生成一幅极具艺术效果的作品,让现实中不懂绘画的人也能参与其中创作!真的超赞哒~趣趣分享几款超厉害的AI绘画软件,提供详细操作!有需要的快来...
-
9. Logo Diffusion——基于sd绘画模型的AI LOGO 生成器
这下LOGO设计彻底不用求人了。接下来详细演示一遍操作流程首先进入Logo D... 想学习更多AI技能,比如说关于怎么样利用AI来提高生产效率、还能做什么AI...
-
10. 10个建筑AI工具，从设计到施工全覆盖!肯定有你从来没听过的
讲述了建筑业比较著名的AI公司小库科技做出的探索,在这儿就不多说了。今天,我们试着在规划设计、建筑方案设计、住宅设计、管道设计、出渲染图、3D扫...
最新文章
