Stable Diffusion

Waifu Diffusion和Novelai Diffusion基于目前看到的信息,似乎都是基于Stable Diffusion 继续训练得到的模型,所以使用这些模型的过程就非常的接近,本文主要基于Waifu Diffusion根据个人经验介绍一些我目前学习到的如何使用Waifu Diffusion的心得吧。PS本人非AI从业人员,玩这些东西全靠兴趣,也只是业余时间玩玩,如果有说的不对的地方,还请诸位斧正

Waifu Diffusion

Waifu Diffusion在国庆前一段时间大火,在更早之前一个月不到的时间,似乎也有一个插画生成的AI网站公开,但是被日本插画师给骂到关闭了,再之后就是WaifuDiffusion。

我这里使用Waifu Diffusion基本都是基于Stable-diffusion-webui这个项目,包括各种参数的配置,当然你也可以使用python直接使用,如果是这样,那我想你也不需要看什么教程了.jpg

如果是使用NVIDIA显卡生成,那自然需要安装CUDA,在github项目里也已经介绍过各种情况下使用需要的前置安装配置,这里也不多赘述,重点还是放在这个软件如何使用上。

安装完成之后运行软件,手动打开命令行上显示的网址,你可以看到这样的一个界面
image

prompt是你需要生成的内容的关键词,可以是句子,可以是单词,但是最好要用**,逗号隔开**,根据模型的不同,这里限制的是75个关键词

下一行的Ng Prompt字如其名,就是你不想要的关键词/句子,同样也是用逗号隔开,ng似乎没有限制数量,

右边的Generate就是生成,Apply Style和Create Style就是加载和保存你当前的Prompt

Samplling Step是生成一次需要迭代的步数,会影响生成时间(?个人理解,本人并非AI从业人员)

Samplling method是不同的采样生成器,生成的效果会有所不同

Width和Height是生成图片的宽高,这里的参数会严重影响生成时间,在他们下面的3个框选,个人认为在tex2img这个部分是不需要使用的?也可以用吧,我大概是没试过的

Batch count 按下一次生成,会生成多少组图片,Size是一组多少张,不建议Size调高,容易爆显存

CFG Scale这个参数默认是7,可以调高一些,我一般是设置在10,如果太高的话,生成出的图片会有马赛克一般的质感,再下面,生成的种子,没什么好说的,-1是随机,Script没试过,跳过,
image-1665138507600

生成完一张图片后,右下角会显示你生成的用时,种子,还有Prompt以及NG,和其他各种参数,可以方便后续参考

如果你对这张图片比较满意,可以按下Send to img2img进行继续迭代,按下之后会自动清空Img2img的参数,覆盖上生成这张图使用的Prompt和NG Prompt

image-1665138639809

这里基础内容和上页是差不多的,差别就是选择图片的时候可以用Resize,Crop等,Inpaint里可以选图片作为mask或者是手动绘制mask,指定需要生成的部分和不生成的部分

最关键的一个差别在底部的Strength,这个参数决定了原图在生成过程中的加权比例(?如有更专业的解释请指点),这个参数的范围是0~1,如果为1,那整张图片可以说是和原图毫无关系,如果太低,那和原图的相似程度会非常高。

大概就是可以玄学的调整这些参数,迭代出自己想要的图片,最后再使用 Sendto extras到其他模型提升分辨率