前置：

        由于处于学习初期，懂得较少以及可能会出现理解错误等情况，故而文章仅供参考学习使用，旨在分享知识，共同学习，不能作为依据，如有错误，感谢指出，文章主题分为两部分，学习部分也就理论知识，实践部分主要包括问题及解决方案。

一、Stable Diffusion：

文生图：

1.提示词分类以及书写：

Tips：

①ai对于提示词的认知是词组＞句子，完整的语法结构反而更难理解

1.1内容型提示词：

人物及主体特征：

服饰穿搭 white dress

发型发色 red hair,long hair

五官特点 small eyes,big mouth

面部表情 smilling

肢体动作 stretching arms

场景特征:

室内室外 indoor/outdoor

大场景 forest,city,street

小细节 tree,bush,white flower

环境光照

白天黑夜 day/night

特定时段 morning,sunset

光环境 sunlight,bright,dark

天空 blue sky,starry sky

画幅视角

距离 close-up,distant

人物比例 full body,upper body

观察视角 from above,view of back

镜头类型 wide angle,Sony A7 IIII

1.2标准化提示词：

画质提示词：

通用高画质 best quality,ultra-detailed, masterpiece, hires, 8k 特定高分辨率类型 extremely detailed CG unity 8k wallpaper (超精细的8KUnity游戏CG)，unreal engine rendered(虚幻引警渲染)

画风提示词 插画风 illustration, painting, paintbrush 二次元 anime, comic, game CG 写实系 photorealistic, realistic, photograph

2.权重与负面提示词：

①套括号() (white flower) = *1.1权重

②(white flower:1.5) 在括号内直接加：和需要的权重

③(((white flower))) 每多套一层权重就是原来的1.1倍，这里是1.331倍

④多括号{{{white flower}}} 每套一层额外*1.05倍

⑤方括号[[[white flower]]] 每套一层，额外*0.9倍

3.反向提示词：

顾名思义，反向提示词就是不需要出现在画面中的内容

4.出图参数详解：

4.1采样方法

AI进行图像生成的时候使用的某种特定算法

Euler (a)

适合插画风格

DPM 2M 和2M Karras

速度快

SDE Karras

细节更为丰富

Tips：

带++一般是改进过的算法

4.2面部修复

采用对抗算法识别人物面部并进行修复，类似美图app的智能p脸

4.3平铺/分块

用于生成可以无缝贴满整个屏幕的纹理性图片的，勾选容易出错

4.4提示词相关性

顾名思义，就是与关联词的关系度，一般安全范围在7-12，太高太低容易变形

4.5随机种子

画面关系度，以我目前使用来看，使用固定随机数种子可以保证在原有的基础上改变内容

4.6生成批次/数量

因为AI根据相同提示词生成的图片具有随机性，所以生产批次是在同一个提示词下生成不同的图片，最后可以通过对比甄选比较符合预期的图片

每批数量，就是在每个批次生成图片数量，默认是一批一个，如果多个显存可能会爆炸，这个很好理解就是并行的量更多了，但是由于显存问题，可能并不能支持这么操作，理论提高效率实际要根据性能决定。

二、AI绘画实际业务问题难点及解决思路(包含未解决项)

1.绘图技巧和报错处理：

①绘图常见报错处理

ValueError: images do not match

Time taken: 10.55s

Torch active/reserved: 4200/5126 MiB, Sys VRAM: 7450/8192 MiB (90.94%)

原因：

很多时候为了保证和原图像素一样会设置类似于宽417，高714等等尺寸，就会导致这样的报错

②图生图重绘中的canyan技巧：

关于canyan边缘监测对作图影响过大如何处理：

 

调低权重和引导步数，如果线条过于复杂，可以调高low Threshold 并且适当调高High Threshold

        满足以上参数的前提下，重绘幅度在0.7左右，在我的测试中比较容易出满意的图。

2.AI模特换装问题：

局部重绘的时候：

全图：

①适合更换背景

仅蒙版：

①如果是全身照的情况下，在局部重绘选择仅模板会导致画面变形，比如飞起来的头发，延长的衣服等等问题。

②在涂鸦重绘模式下，就是只修改图片某一部分，，比如眼睛不和谐等等，适合修复小部分

蒙版模糊：

数值越大，边界感觉越弱，反之数值越大，边界感越模糊。太大容易产生多余肢体

局部重绘模式下不改变任务但更换背景，原模特衍生肢体或毛发或衣物的问题解决：

前置：

①局部重绘区域选择全图而不是仅蒙版，可能可以解决

②蒙版蒙住内容，选择原图能够最大程度保留非蒙版区域，填充虽然也能保持原图，但是可能延长头发等情况，不稳定，时好时坏，

                                                        原图

 

                                                填充 

        

                                              潜空间噪声

进阶：（如何基础都设置对了还有问题可以考虑下面）

①通过修改3d openpose 比原来整体小即可，滚轮缩小就好了②降低蒙版模糊值

Tips：

AI作画具有随机性，就算上述都对，依旧可能产生问题，可以在提示词下做点文章，由于模特其实依旧生成好了，我们可以对可能产生的衍生模特做操作，比如短发或光头(防止头发衍生)，内衣内裤(防止衣服裤子过长)

只需要修改宽高为8的倍数即可，例如400 600即可或者600 800 具体按照情况来定，避开错误即可

3.ai模特换脸业务(还在优化中)：

原图：

效果图：

由于篇幅问题，就不过多展示了，下面说说实现步骤和注意细节

实现步骤：

1.tag标签配置：

我的都是默认配置，未做过多优化操作，比如你希望皮肤白一些，就可以正向提示词前加上，也可以选择(white face)(white face:1.2)增加权重，默认大家都有，这个很简单不多阐述。

正向tag：

best quality, ultra high res, (photorealistic:1.4),1girl,close mouth

反向tag：

(((gape))),paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, glans,bikini,medium breast,,Nevus, skin spots,nsfw,(((neck too long))),(((wrinkle)))

 2.选择局部重绘：

通过涂鸦选择需要重绘区域，右侧圆点可拉动能够调节画笔粗细。

3.配置参数

照抄下图即可，值得注意的是宽高是最好与原图相似，生成效果会更好而且最好是8的倍数，不能417 714这种会绘图报错，迭代步数默认是20，28可以提高画面精细度，面部修复最好勾选，不容易出现面目狰狞，蒙版模糊类似于PS的锐化，看情况条件，推荐4-8是最好的，蒙版蒙住内容选择填充画面较为和谐。具体参数不做过多赘述了

 4.打开3D openpose调节人物动作

①点击如图文件，选择从图片中检测，将需要修改的图像导入就会生成如下图这样的背景图和姿势了，然后在设置处，点开移动模式勾选上，然后调节骨骼与背景至差不多融合，如图2，通过鼠标滚轮能够调节远近，也就是骨骼的大小，近一点就更贴近镜头，保持和背景图差不多即可，然后点击生成。对了，不要忘记在右上角设置宽高和画布一致，例如我是600 800 那我就设置600 800即可

 5.发送到controlnet

将第一个发送到0通道口，如果被占用可以发送到1 2 3等，其他关闭即可，然后点击图生图，回到绘制界面

 6.在controlNet处启用

在controlNet处点击启用，否则无效，然后预处理选择无，模型选择openpose即可，下面也有一个调节宽高的，依旧和之前一样保持画布一样即可，例如我是600 800，总之涉及到宽高的都统一一个就好了，不如容易发生错乱

 7.生成图片以及细节微调

完成上述步骤后，点击生成按钮即可生成图片了，如果发现有不对的地方就去做微调，比如在tag定义发型，AI绘图很难一次生成满意的图片

 

 通过左侧手动调节位置，或者右侧输入参数都能微调，左侧容易出现畸形，修改难度较大，如果右侧有的参数还是输出较好，然后继续生成，发送到controlNet，点击一下预处理预览一下，然后继续生成，直至满意图片产出即可。

 通过反复调节，最终生成了较为满意的图片，也可以根据图片进行局部重绘修改发型等等。

 

4.AI绘画局部优化：

1.先上图说明业务场景

        ai在边缘处理有着独到的笨蛋理解，总喜欢画蛇添足，不过这也不能怪他，或许是参数和其他参考图的干扰，所以我们能做的是尽可能将我们的需求说明白，如下，希望将原图修改背景和面容，但是在边缘部分有很多不理想的衍生，我们如何将这里按预期处理呢？

                                                                        原图 

                                            修改1.0

 2.实现方法：

        当有衍生部分，想要通过涂鸦重绘将其改变颜色，最好选用如下参数，尤其是蒙版模糊是2，太低界限感太强，太高影响过大，重绘幅度选择0.3，然后选择蒙版区域内容处理的原图模式，能够最佳还原需要效果。

        具体参数如下：

3.具体实现：

        ①使用FastStone Capture（如果没有百度名字就能下载）取色笔对牛仔裤颜色进行取色，对衍生部分进行涂改成需要修改的颜色，然后选择重绘幅度0.3，蒙版模糊 2 蒙版区域内容处理 原图 这三个参数非常重要，然后就是通过openpose+canyan进行姿势和内容的限制（openpose和canyan默认大家都会没什么难度，b站都有教学）。

 4.结果展示：

                                                修改2.0

5.总结：

       如此已经较为接近需求了，AI绘图其实并不难，我们只是使用层级的，如果有不符合需求的继续微调即可，其实在成图的步骤并没有我以上提的那么简单，出一个稍微满意的图难免花时间，AI绘图的痛点就是：调参占用10%时间 出图占用80%，10%调节测试脚本。目前也在学习阶段有更好的方法也希望能够告诉我哈。