二、 AI数字绘画—Stable Diffusion简介

发布时间:2024-03-24 18:27:06 浏览量:169次

Stable Diffusion是目前最火的AI绘画工具之一,它是一个免费开源的项目,可以被任何人免费部署和使用。通过Stable Diffusion,可以很轻松的通过文字描述,生成对应的图片。

Stable Diffusion是一个深度学习文本到图像生成模型,是stability.ai开源的图像生成模型,而Stable Diffusion WebUI把Stable Diffusion模型进行了封装,提供更加简洁易操作的界面。他们两个的关系类似父子继承关系,目前使用的最多的是Stable Diffusion WebUI,因为它界面友好,可以很方便的调整各项参数,生成高质量的图片。

使用Stable Diffusion之前,有几个重要的组件,需要首先了解:

1 模型,模型可以简单理解,你想画什么风格的画。模型包括大模型(基础模型)Lora(微调模型)VAE模型(变分自编码器)Embeding(提示词打包)、Hypernetworks 用的比较少。

大模型,是SD能够绘图的基础模型。安装完SD软件后,必须搭配基础模型才能使用。不同的基础模型,其画风和擅长的领域会有侧重。

Lora模型,是与大模型配套使用,用于抽取画作的风格特征(例如人物特征属性),创作出相似度非常高的作品。

VAE模型,全名Variational autoenconder,中文叫变分自编码器,与大模型配套使用,VAE模型具有两种功能,一种是滤镜(就像是PS、抖音、美图秀秀等)用到的滤镜一样,让出图的画面看上去不会灰蒙蒙的,让整体的色彩饱和度更高。另一种是微调,部分VAE会对出图的细节进行细微的调整(个人觉得变化并不明显仅会对细节处微调)

Embeding、Hypernetworks用的比较少,暂不介绍。

2 插件,插件就是扩展,插件就是给Stable Diffusion这套系统附魔的。就是说,通过插件,我们的Stable Diffusion就会有更多的功能,我们耳熟能详的ControlNet其实就是Stable Diffusion里的一个插件。

常用插件:sd-webui-mov2mov(AI视频转换)、ControNet(提取人物自身、提取图像纹理结构)、zh_CN汉化、tag_complete标签自动补齐、cutoff、bilingual_localization双语提示、Segment anything(它可以快速地把你想要切割的部分分割出来)

3 提示词Prompt,有些地方也称之为关键词,主要目的是我们通过提示词,告诉Stable Diffusion我们需要什么样的图。

而提示词则分为正向提示词和反向提示词,正向提示词是告诉Stable Diffusion我们要什么,比如best quality,4k,1girl,这就是告诉Stable Diffusion我们要画的内容里要包括最好画质,4K分辨率,1个女孩。

而反向提示词则可以是Twisted fingers, multiple heads, multiple arms,当你把这个放进反向提示词里,则是告诉Stable Diffusion

输入框如下:

4 常用模型参考:

Model:DreamShaper

Model:majicMIX realistic

Model:MeinaMix

Model:SarkSun

热门课程推荐

热门资讯

请绑定手机号

x
确定