在前文 AI设计之 Stable Diffusion 入门认知篇 中，我们已经对Stable Diffusion（下文简称 SD， 基于哩布哩布平台）的入门知识进行了详细介绍，希望你对基本界面和参数有一定了解。在此基础上，本文将结合相关案例为你讲解如何进行文生图、图生图、局部修改等基础操作。通过学习本文，你将能够运用 SD 平台进行简单的生成式图像处理。
一、文生图（Text-to-Image）
根据输入的文字描述生成相应的图像。用户可以输入关键词或短语，SD会根据这些描述生成具有相应特征的图像。
基本流程：
选择基本模型——填写描述词——设置采样参数、图片参数、提示词相关性——生成图片
1.选择基本模型
可以先去模型广场查看有哪些 CHECKPOINT 模型，点开后可以看的模型相关的详细信息。
- 写实风格模型：推荐有ChilloutMix，majicmixRealistic，Beautiful Realistic Asians ，AWPortrait
- 2D二次元模型，推荐有：AWPainting，Anything，AnyLora
- 2.5D模型：revAnimated，majicMIX lux，Disney Pixar Cartoon，AbyssOrangeMix3
2.描述词
👉 以下是一些建议和技巧：
1.权重设置：提示词越靠前越重要，如可将画质词提前。2.默认情况下，提示词的权重默认为1。可以通过以下方式调整权重：在提示词后添加括号，如：(提示词)，表示提示词的权重增加到1.1。在提示词后添加冒号和数值，如：(提示词:0.8)，这将使提示词的权重设置为0.8。若要降低提示词的权重，可以使用负数值，如:(关键词:-0.5)。
3.提示词步骤控制：[提示词1：提示词2：数字]，数字大于1，表示前（数字）步，以提示词1生成，之后按提示词2生成；；数字如果小于1，代表占比，则表示前（数字*步数）步以提示词1生成，之后按提示词2生成。（可见后面的实操案例应用）
4.使用简洁的词语：尽量使用简单、直接的词语，避免复杂的句子结构。
5.添加细节：提供关于图像中物体、角色、场景等方面的详细信息，如颜色、形状、材质等
6.使用负面提示词：不希望出现在图像中的元素，可以使用负面提示词。例如，如果不希望图像中出现人物，可以使用“no human”作为负面关键词。
提示词模板格式（与Midjourney类似）：
画质提示词+描述主题（人物或者其他）+ 描述场景背景 + 描写光照环境 + 画幅视角（非必要） + 风格提示词（非必要）
- 主体：人物(穿着、发型、五官、表情、动作)、物品(外观、状态)
- 场景：室内/室外、大场景(城市、森林、公园等)、小细节(花草树木等)
- 光照环境：白天黑夜、特定时段(午后、日出日落)、光(阳光、亮眼、昏暗)、天空
- 画幅视角：人物比例(全身、上半身)、视角(背后、正面)、镜头类型(广角、微距）
- 画风：插画风、二次元风、写实系等(画风的选择要和模型匹配)
- 画质：高画质、高分辨率等
3.设置相关参数后，生成图片
参数的基本内容已经在入门篇详细介绍过，包括设置采样方法，步数，宽度高度，提示词引导系数（CFG），图片数量等。
下面我们直接结合一个实操案例来演示。
案例：场景融合
模型CHECKPOINT：麒麟-revAnimated v122 V1.2.2.safetensors
正向提示词：A Whale [in the sky: in the water: 15], light blue, cyan, grand picture,Best quality, masterpiece
采样方法：Euler；步数：30步；CFG：7
提示词让前15步是按在天空中生成，后面15步是在水里，得到的图如下，一个【飞跃在天空和大海上的鲸鱼】（注：鳍角有些问题，但是整体效果满意的话，后面可以通过局部重绘或者使用PS等软件来做微调）
二、图生图（Image-to-Image）
通过将已有图像作为输入，让Stable Diffusion根据图像内容和用户需求生成新的图像。这种功能可以在保留原始图像的基础上进行修改和创新。
应用场景：
局部修改：可以实现瑕疵修复或者内容修改。在保留原始图像的大部分特征的基础上，对某个局部区域进行修改，如更改物体的颜色、形状等。
风格转换：将一种风格应用到另一张图像上，例如将一幅照片转换为油画风格，或者定制头像，根据已有的人物照片，将其转化为漫画风格
图像修复：修复破损或失真的图像，恢复其原始细节和质量。
基本流程：
上传图片（或者由生成的图发送至图生图）——获取图片的提示词——选择基础模型——设置图片参数、设置重绘幅度——生成图片
1.图片上传
图片上传可以有2种情况：
一是自己上传一张图片；
二是由前面文生图得到的图片，可以直接点击发送至图生图。
2.获取图片的提示词
在提示词区域右侧，有2个反推提示词的选项：一个是【CLIP反推】；一个是【DeepBooru反推】。
CLIP反推的词多为自然语义的长句子，可以适用MJ；DeepBooru反推多为短句，短语，更适用SD。
操作案例：真人转漫画风格
首先上传一张图片，这里我上传一张花千骨剧照，然后，点击反推提示词，可以看到正向提示词中填入了反推prompt。
- 反推得到的提示词：1girl, black hair, dress, grey background, holding, holding sword, holding weapon, lips, long hair, long sleeves, solo
（1个女孩，黑发，连衣裙，灰色背景，拿着，拿着剑，拿着武器，嘴唇，长发，长袖，单人照）
- 调整权重顺序，修改部分词汇，删减不要的词，同时结合 Sd 通用画质关键词（可按入门篇方法预设），添加我们想要的内容。
得到以下正向关键词：1girl, black hair,Traditional Chinese Dresses, Simple background, holding sword, long hair, long sleeves, solo,Best quality, masterpiece
（1个女孩，黑发，中国传统服饰，简单背景，手持宝剑，长发，长袖，单人照，最佳品质，杰作）
负向提示词：Low quality, lowres, worst quality, normal quality, blurry, Monochrom, grayscale, Bad proportion, bad anatomy, ugly, extra legs, bad hands, missing fingers, Watermark, Signature
3.选择模型，测试出图效果
选择一个常用的二次元模型例如AWPainting**，TMND-Mix v5.safetensors 等，**后面的vae自动匹配，CLIP默认2，正常都不需要调整。模型选择可以多次尝试，测试出图效果。
4.设置图片参数、设置重绘幅度
根据我们提供的图片长宽比，设置图片参数，在尝试的阶段，可以不用设置太高的步数和太高的分辨率，这样可以提高出图的速度。
采样方法：Euller a
迭代步数：25-30均可
建议可以勾选上【面部修复】
宽度和高度可以先去查看一下我们上传图片的尺寸
CFG：6；重绘幅度：推荐0.3-0.4
按这个出图结果可以看到，整体人物形态类似，但是人物脸部不同的模型出来的效果会有不同，可以换不同大模型，微调参数尝试。想要风格化一些，可以尝试如迪斯尼模型；另外考虑到找的图片为古风的特殊性，去模型广场查找古风相关的模型，找到一个CG古风大模型，再次尝试。
以下为6种不同二次元模型出来的效果：
三、重点内容：局部重绘
SD的局部重绘功能与MJ类似，能够在图像中精确控制并修改特定区域，而不会影响其他部分。
但与MJ不一样的是，它除了可以用画笔涂抹药修改的区域作为蒙版外，如果对于边缘有较高要求，还可以重绘蒙版模块下，上传制作好的蒙版，进行更加精准的修改。（详见后续的案例2）
基本流程：
画笔涂抹待重绘位置——修改提示词（根据情况）——设置重绘参数——生成图片
示例1：做瑕疵修改
找一张之前出图出现问题的图片，AI生图不管是MJ还是SD，目前对于四肢总是会出现各种问题，比如我们得到的图上多了一个胳膊，下面通过局部重绘来进行修改。
- 首先将前面生成的问题图片发送到【图生图】
可以看到界面上有4个图标，第一个图标是删除当前图片；第二个图标为调整涂抹画面的粗细；第三个图标是擦除清除刚才涂抹的区域；第四个图标为撤销上一次的涂抹动作。
- 反推提示词
可以自己简单填写提示词，也可以点击 DeepBooru 反推，得到正向提示词：backpack, bag, bag charm, blurry, brown hair, building, charm \(object\), duffel bag, handbag, looking at viewer, randoseru, red bag, school bag, school uniform, shoulder bag
整理提示词，删除不必要的词汇，加上一些通用词，得到最后提示词：1 boy, backpack，brown hair, looking at viewer, school bag,Best quality, masterpiece。
- 涂抹修改的区域
将需要调整的区域用画笔涂抹
- 设置相关参数
💡 关于局部重绘的参数
1.蒙版参数；选择【重绘蒙版内容】，即对画笔涂抹覆盖的区域有效；如果选择【重绘非蒙版内容】，即改变的是蒙版覆盖之外的区域（可用于修改背景）
2.重绘区域：【整张图片】是根据提示词，参考整张图片，并重新绘制整张图，当修改区域占比整张图较大时，可以选择【整张图片】模式；【仅蒙版区域】是根据提示词，仅重绘蒙版区域，当修改区域占比整张图较小时，选择【仅蒙版区域】模式
3.蒙版模糊：羽化蒙版边缘，使得重绘部分与原图周围更加的贴合。对于有PS使用经验的应该能更好理解，如果只改变蒙版内或者蒙版外的内容，那么边缘处就会突变，很不协调，所以蒙版模糊可以理解成PS中的羽化，用来控制蒙版过渡效果，越大过渡越平滑。通常情况下，我们可以使用默认值，但根据需要微调。
调整参数，点击生图按钮，等待图片生成。如果得到的图片不满意，可以再次调整参数，或者再次发送到局部重绘重新出图。
常规参数：迭代步数：25-30；提示词引导系数：7；重绘幅度：推荐0.5-0.7
局部重绘的参数：这里我们选择重绘区域为全图，可以看到书包上的瑕疵变成了一个标签挂件。
案例2:修改人物表情
- 先生成一个开心的男孩
大模型：我选择了【3D角色PLUS v1.0.safetensors】
提示词：A teenage boy, front view, wearing a casual white shirt, happy, simple background, best quality, masterpiece, portrait
得到一个开心表情的男孩。
- 局部重绘，更改提示词
用画笔将面部涂抹，将提示词中的开心更换为生气，或者悲伤等等
提示词：A teenage boy, front view, wearing a casual white shirt, （angry）, simple background, best quality, masterpiece, portrait
重绘幅度调整为0.5
- 生成图片，完成表情的更换
更换为生气的表情
更换为悲伤的表情
示例3：做产品图背景
网上找一张产品图或者你自己的产品图片，可以先试下用涂抹的方式来修改背景，你会发现边缘很难做到较好的融合，因此，这里我们可以先在第三方软件里先将轮廓精准的框选出来
借助PS获取精准的模版
在PS中将主体鞋填充为黑色，其他区域填充为白色，保存为PNG格式
注意：在liblib在线版，对于上传的蒙版，选择修改重绘蒙版内容时，白色的是蒙版区域，即修改的是白色的区域，所以如果要改背景，需要将背景填充为白色，保留的填充为黑色。
在重绘模版模式下，分别上传原图和上一步用PS做的蒙版
修改对应的提示词
为了表现登山的特色，我们设计提示词为：一双鞋在地上，真实感森林环境，植物包围，山地环境
翻译成英文，增加通用词后：A pair of shoes on the ground, realism forest environment, surrounded by plants, mountain environment, Best quality, photorealistic, masterpiece
大模型：选择真实感模型Chilloutmix-Ni-pruned-fp32-fix
提示词：A pair of shots, on the ground, surrounded by stones, snow mountain background,Best quality, photorealistic, masterpiece
设置相关参数
由于要从原来纯色背景变为丰富的背景，需要将重绘幅度尽量拉大，建议可以直接拉到1。以下相关参数可以作为参考。
生成图片，实现背景的更换
总结
大家可以发现，用大模型 AIGC 来做图片创作（无中生有的场景），以及创造图片的一致性生成，会非常有作用。但是里面的参数之多，复杂度之高，也给使用者带来了不小的使用门槛。
当我们做的只是图片的简单换背景，其实已经有很多 AIGC 产品能够帮助用户，非常简单的能够完成替换和美化，推荐 Photo room，Fotor 这类产品，简单好用，且价格便宜。
Photo room：https://www.photoroom.com/
Fotor: https://www.fotor.com/cn/