上一期我们简单讲解了一下SD的安装和使用,以及提示词的写法。如果你成功生成了一张AI图像,即使不是那么完美,迹寒还是要恭喜你,你已经打开了新世界的大门。本期我们将更进一步,体会SD的强大。

一、简单的汉化流程

很多小伙伴苦于webui晦涩的英语,笔者感同身受,于是在网上搜索了很多资料,终于发现了一个巨简单的汉化方法,有手就行,分享给大家。

我们先打到主界面中的Extensions选项卡,点击打开。选择“Install from URL”:输入“http://github.com/hanamizuki-ai/stable-diffusion-webui-localization-zh_Hans”并下载安装。如果失败的话,自行在github下载安装包,将localizations下的zh-Hans (Stable)和zh-Hans (Testing)拷入到SD目录下的localizations目录。

之后依次点击"Settings → User interface → Localization (requires restart) → zh-Hans(Stable) → Apply settings → Reload UI就可以啦。是不是很简单呢?

二、什么是图生图?

图生图是另一种非常有用的AI生成图像方法,你不需要学习复杂的英文prompt,我们用一些例子来描述它的使用场景:

1)小明在网上找到了一张很好看的小姐姐

于是,他想要更多的小姐姐!

2)小明又觉得女主穿着不太好看,想换一件其它的衣服。

抑或是休闲牛仔

3)小明想改变图片的背景,比如学校教室的门口,顺便将女主的头发改成紫色。

4)贪婪的小明还不满意,他想要改变人物动作。比如一个摸头发的动作。

通过这些例子,我们就能感受到SD的强大,利用SD+ControlNet可以满足你任何合理的诉求。生成任何你渴望生成的图片。

当然,迹寒希望大家生成的图片都是合法合规的,不要在网上传播一些负面的图片哟。

(1) 界面介绍 首先我们要导入一张图片,可以通过两种方式很方便的导入:拖到图像或者上传文件。也可以直接将文生图的图片发到这里来。

图生图的界面和文生图的界面类似,都有“提示词”、“反提示词”输入框,并且图生图多了两个按钮:

CLIP反推和DeepBooru反推:根据图片反推出提示词,需要另外安装插件。它们直接有什么区别呢?比如下面这张图:

(@rqdwdw By Counterfeit-V2.5 )

CLIP反推:

a woman sitting on a bench with a rabbit on her lap next to her legs and a dog on her lap, Chen Hong, rossdraws global illumination, a detailed painting, rococo

DeepBooru反推:

1girl, :d(emoji, 一个大大的微笑), animal, animal ears, bamboo, bamboo forest, bangs, bare legs, barefoot, black skirt, blush, branch, brown eyes, bunny, bush, day, feet, flower, flower pot, foliage, forest, frills, grass, hair between eyes, ivy, knees together feet apart, leaf, looking at viewer, moss, nature, on grass, open mouth, outdoors, palm tree, plant, pond, potted plant, puffy short sleeves, puffy sleeves, rabbit ears, rabbit girl, rabbit tail, shirt, short hair, short sleeves, sitting, skirt, smile, solo, tail, tanabata, tree, tree stump, vines

大家可以清晰的看到两者的区别。CLIP注重画面内的联系,生成的自然语言描述。DeepBooru对二次元图片生成标签,对二次元的各种元素把握很好。

所以大家根据实际需求进行选择就好。此外,选项卡上还有“PNG图片信息”,它也可以获取图片的生成参数信息,但只能是SD生成的图片(貌似添加了水印),不能用于一般图片。

做一下笔记
如果发现图像很灰怎么办?尤其是真人图片。

这个时候我们需要一个叫变分自编码器VAE的插件,对就是和许嵩同英文名的插件

下载地址:http://huggingface.co/stabilityai/sd-vae-ft-mse


大家选择一个下载然后放到models\VAE目录下,重启webui,打开“设置——Stable Diffusion——外挂VAE模型”选择对应模型即可。没有看到的话,可以点右边的刷新按钮。
❗注意:
一定要“保存设置”并“重置前端”!
一定要“保存设置”并“重置前端”!
一定要“保存设置”并“重置前端”!
重要的事说三遍。

重绘幅度(Denosing strength):控制重绘幅度,数值越大,和原图差距越大,基本<0.3的时候就和原图差距很小。

下面是一个例子:

提示词:一个穿夹克的男孩。输入图片为兔耳朵女孩,可以看到这个变化过程:

有小伙伴可能很好奇到底是哪一步开始出现“性转”的,笔者也很好奇,我们在0.6~0.85范围内继续实验:

可以看到0.7-0.75左右,当头发变短,睫毛变细,胸变平就出现男性特征了。这可以作为我们进行参数调整的依据。

小技巧
如何做成上面这张图片并列的形式呢?
可以采用“脚本——x/y/z plot”



其中,x轴就是我们希望生成图片的排列是一维的,如果有两个变量那就启用y轴,依次类推,最多三个维度。选择某个量作为变量。

X轴值可以写成:
分立形式:1, 2, 5, 8,表示4个数

简单范围表示:1 - 8,表示8个数

圆括号内整数表示步长:1-9(+4),表示1, 5, 9; 8-2(-3),表示8, 5, 2

方括号内整数表示一共取几个数:1-10[5]表示1, 3, 5, 7, 10五个数

(2)改变图像尺寸或分辨率

在上传图像后有下面一排按钮:

这些看名字就知道是什么功能了,但是第四个“调整大小(潜空间超分)”是什么意思呢?

潜空间(latent space)可以理解为隐藏空间,超分就是超分辨率,综合起来就是说增加隐藏空间的分辨率酱紫。

图生图没有Hires.fix功能,如果要提高分辨率,我们可以怎么做呢?

  • 首先,在提示词中加hires,在反提示词加lowres,这是一种方法

  • 使用上面“调整大小(潜空间超分)”

  • 增加迭代步数也是不错的方法,但是也不能调的过大,一方面浪费时间,另一方面图片会失真。

(3)涂鸦

在这个模式中,我们有一只笔,可以改变大小或者颜色:

一个非常有趣的用法是改变头发颜色,比如改成粉色头发,用大概的线条覆盖头发部分

然后就变成粉色头发了,(★ ω ★),kawaii

(4)局部重绘

这个功能一般是用于修复图像,但是它不能对AI无法克服的缺点进行修复:手和不对称的瞳孔

我们假设有下面这张图片,明显多了一只手

我们直接把要重绘地方涂上黑色,这部分区域叫“蒙版”,学过PS的朋友可能对这功能爱恨交加~

下面多了一些参数:

蒙版边缘模糊度:用于调节遮罩边缘的模糊程度,具体来说,数值越大遮罩图像的边缘就越模糊,从而让修复后的图像效果更加平滑和自然。反之遮罩图像的边缘更加锐利,修复图像效果可能会更加清晰和明确。需要注意的是,较大的遮罩模糊度可能会导致修复图像的细节丢失;

蒙版模式:一般来说如果要改的地方很少就用“重绘蒙版内容”,否则用重绘非蒙版内容。

蒙版区域内容处理fill就是全充满,original填充和原来一样的内容,latent noise 是潜空间噪声,latent nothing是什么都没有。一般选original就可以了。

重绘区域:重绘整张图片或者仅重绘蒙版。

仅蒙版区域下边缘预留像素:可以使得边缘过渡地更加自然,根据需要调整。

我们来看看效果:

很好多余的手已经被去掉了。

(5)涂鸦重绘

和局部重绘功能类似,不过多了一个蒙版透明度功能:

举个栗子,给小姐姐穿一件红蓝外套:

左边蒙版透明度为0的话就有一点不自然,太显眼了,右边为26明显要好一些。

(6)上传重绘模板

此外我们还可以上传蒙版文件用于精确的重绘,上传的应该是黑白的图片,像这样:

我们来看看效果,一张是人物变了,另一张是背景变了。

这个功能还是很赞的!

(7)批量处理

大家可以理解为批量地进行重绘。可能有同学会有疑问,我既然有生成批次,每批数量等参数,为什么还要加这个功能呢?

想象有这样一个场景,我想生成一幅动画,动画由很多帧组成,帧与帧之间应该在逻辑上是相关的。不能突然换一个人或者换一个场景吧!

输入目录就是视频帧的目录,推荐使用img2go的convert-to-jpg工具。

输出目录指视频帧输出目录,必须是一个空文件夹

批量重绘蒙版指重绘模板的参数,这个也很重要。如果不用蒙版的话,生成图像基本没法看。

本期就到这里啦。下期我们将介绍最炫酷的功能《Controlnet》,请持续关注哟~

我是迹寒,下期再见!


参考资料:

https://openai.wiki/stable-diffusion-img2img.html

往期精彩

AIGC初体验——Stable Diffusion制作超棒图像(一)