1. 项目概述:从“图生图”到“精准控制”的进化
如果你已经玩过Stable Diffusion的文生图,体验过输入一段文字就能得到一张精美图片的惊喜,那么恭喜你,你已经迈入了AI绘画的大门。但很快,你就会遇到一个几乎所有创作者都会碰到的“天花板”:生成的图片整体氛围很棒,但总有那么一两个细节让你抓狂——比如人物的手指扭曲了、背景里多出一根奇怪的柱子,或者你想给角色换件衣服却无能为力。这时候,仅仅依靠调整提示词(Prompt)就像用大炮打蚊子,不仅效率低下,而且结果往往不可控。
这正是“图生图”功能,特别是其核心子功能“局部重绘”和“涂鸦重绘”大显身手的时候。它们解决的,正是从“整体生成”到“像素级精准控制”的关键一跃。你可以把文生图想象成一位才华横溢但天马行空的画家,你只能通过语言描述来引导他。而图生图,特别是局部/涂鸦重绘,则像是一位技艺精湛的修图师,你指着原图上具体的某个区域说:“这里,按我的想法改,其他地方请保持原样。”
我最初接触时,也以为这只是个简单的“修补”工具。但深入使用后才发现,这是将AI从“随机灵感生成器”转变为“可控创意生产力工具”的核心。无论是修复瑕疵、更换服装发型、改变场景元素,还是进行天马行空的二次创作,都离不开对这两个功能的深度掌握。网上教程虽多,但往往只讲操作,不讲底层逻辑和实战中的“微操”,导致很多人用起来效果不稳定。今天,我就结合自己踩过的无数坑,为你拆解这套超强操作流程背后的门道。
2. 核心概念拆解:局部重绘与涂鸦重绘究竟有何不同?
很多人容易把局部重绘和涂鸦重绘混为一谈,因为它们都在“图生图”标签页下,操作界面也相似。但实际上,它们的底层逻辑和适用场景有本质区别。理解这一点,是你能否用得好的前提。
2.1 局部重绘:基于蒙版的“区域替换引擎”
局部重绘的核心是“蒙版”(Mask)。你需要用画笔在图片上精确地涂抹出一个区域(蒙版区域)。AI的工作是:仅对蒙版覆盖的像素进行重新绘制,而蒙版之外的区域则会被严格保护,几乎不发生改变。
它的工作原理可以简单理解为:
- 识别与隔离:AI会识别你涂抹的蒙版区域,并将这块区域从原图中“挖”出来。
- 内容生成:结合你输入的提示词,AI在这个被“挖空”的区域内,生成全新的内容。
- 边缘融合:将新生成的内容,无缝融合到原图的背景中。这里“融合”的质量,是成败的关键。
关键特性与适用场景:
- 高保真度:非蒙版区域被高度保护,适合修改图片中微小但关键的缺陷,比如修复崩坏的手部、去掉画面中不想要的物体(电线杆、水印)、微调面部表情。
- 提示词针对性极强:你的提示词应该只描述你希望蒙版区域变成的样子。例如,你想把一件T恤换成西装,那么提示词就应该是“a black suit, tie, formal wear”,而不是重新描述整个人物。
- 对蒙版精度要求高:蒙版涂得越精细,AI越明白你要修改的范围,生成结果就越精准。毛糙的蒙版边缘会导致融合生硬,或影响周边区域。
实操心得:局部重绘像外科手术,目标是精准切除并移植。你的提示词是手术方案,蒙版就是手术刀划下的切口。切口越小、越精确,术后恢复(边缘融合)就越好。
2.2 涂鸦重绘:基于笔触的“风格与内容引导器”
涂鸦重绘的核心是“涂鸦色块”。你用不同颜色的画笔在图片上乱涂乱画,AI的任务是:参考你涂鸦的颜色和形状,对整个图片或对应区域进行重新诠释和绘制。
它的工作原理有所不同:
- 色彩与形状提示:你涂上的颜色和大致形状,成为AI生成时的重要参考条件。比如你在天空涂上红色,AI就更倾向于生成晚霞;你在衣服上涂上蓝色条纹,AI就可能生成一件条纹衫。
- 全局或局部影响:根据设置,涂鸦可以影响整个画面,也可以只影响涂鸦覆盖的区域(类似蒙版,但逻辑更软性)。
- 创造性融合:AI不会严格保护非涂鸦区,而是试图理解你的涂鸦意图,并将其与整张图的构图、风格进行创造性结合。
关键特性与适用场景:
- 创意发散与风格探索:适合快速改变画面整体色调(如把夏日午后变成金色黄昏)、尝试不同的服装纹理和图案、为场景添加新的色彩元素(如给草地加上花朵)。
- 提示词更偏向氛围:你的提示词可以更抽象,描述整体氛围。例如,涂了红色后,提示词可以是“dramatic sunset, warm glow”,让AI去发挥。
- 控制力相对较弱:由于AI对涂鸦的解读有创造性,最终结果的不确定性比局部重绘更高。它可能改变你涂鸦区域之外的关联部分。
实操心得:涂鸦重绘像给画家一个色彩和构图的灵感提示。你不需要画得多好,只需要传递“感觉”。它更适合艺术风格转换、概念草图快速上色,或者当你没有明确修改目标,只想探索可能性时使用。
简单对比表格:
| 特性 | 局部重绘 | 涂鸦重绘 |
|---|---|---|
| 核心输入 | 黑白蒙版(指定修改区域) | 彩色涂鸦(提供色彩/形状提示) |
| AI任务 | 替换蒙版区域内容 | 根据涂鸦重新诠释画面 |
| 保护原图 | 强,非蒙版区基本不变 | 弱,整个画面都可能被影响 |
| 提示词重点 | 精确描述蒙版内的新内容 | 描述整体氛围或风格 |
| 控制精度 | 高,像素级精准 | 中低,偏向引导和发散 |
| 典型应用 | 修复缺陷、更换物体、微调 | 改色调、换风格、加纹理、创意探索 |
3. 超强操作流程全解析:从准备到出图
理解了原理,我们进入实战环节。一套稳定、高效的流程,能极大提升你的出图质量和成功率。以下流程以 Stable Diffusion WebUI 为例,但核心思路通用。
3.1 前期准备:模型、提示词与参数预设
很多人拿到图就直接开涂,结果总是不理想,问题往往出在准备阶段。
- 选择合适的大模型(Checkpoint):这是最重要的基础。如果你想重绘的是二次元人物,却用了写实风格的大模型,结果必然违和。原则是:重绘使用的模型,最好与原始图片的生成模型一致或风格相近。如果不确定原图模型,就选择一个与你期望输出风格最匹配的模型。
- 构思提示词(Prompt):
- 局部重绘:采用“焦点描述法”。提示词应紧紧围绕你要修改的部分。例如,修改头部发型,提示词就写“short silver hair, detailed hair strands, anime style”。负面提示词(Negative Prompt)同样重要,可以加入“bad hands, deformed fingers, extra limbs”来避免在重绘区域产生新的瑕疵。
- 涂鸦重绘:采用“氛围描述法”。提示词可以更整体,如“fantasy landscape, magical forest, glowing mushrooms, night time”。你的涂鸦颜色(比如给蘑菇涂上荧光蓝)会和这些氛围词协同工作。
- 参数预设模板:在WebUI的设置中,保存一套针对重绘的优化参数预设,能节省大量时间。我常用的基础预设包括:
- 采样方法(Sampler):DPM++ 2M Karras 或 Euler a。前者更稳定细腻,适合复杂修改;后者出图快,适合简单尝试。
- 采样迭代步数(Steps):20-30步。重绘不需要像文生图那样追求极高步数,足够清晰融合即可。
- 重绘幅度(Denoising strength):这是核心中的核心,我们后面单独详解。
3.2 局部重绘实战:以“修复扭曲的手部”为例
假设我们有一张很棒的人物图,但手部崩坏了。目标是修复手部,保持其他部分不变。
步骤一:上传与蒙版绘制
- 将原图拖入“图生图”标签页。
- 在下方选择“局部重绘(上传蒙版)”或直接在图片上使用画笔工具。强烈建议使用“局部重绘(上传蒙版)”模式,因为它允许你在外部用PS等工具制作更精确的蒙版。这里我们用内置画笔。
- 调整画笔大小,仔细地、完全地涂满整个崩坏的手部区域。关键技巧:可以适当将蒙版区域画得比实际缺陷区域大一点点(比如包含部分手腕),给AI一些“上下文”进行融合,但绝不能画到其他完好的部位。
步骤二:关键参数设置详解
- 蒙版模式:选择“重绘蒙版内容”。这告诉AI只处理你涂白的部分。
- 蒙版模糊(Mask blur):通常设置为4-12。这个参数决定了蒙版边缘的羽化程度。数值越大,边缘过渡越柔和,融合更自然,但AI可能“侵蚀”到蒙版外一点。对于手部这种需要精细对齐的部位,建议从4-8开始尝试。
- 重绘幅度(Denoising strength):这是最重要的杠杆。
- 概念:它控制AI对原图信息的舍弃程度。0=完全保留原图(无变化),1=完全舍弃(像在蒙版区重新文生图)。
- 如何设置:
- 对于小范围修复(如修一根手指、去一个痘痘),幅度要低,0.2-0.4。因为原图结构大部分是好的,只需要微调。
- 对于大范围或结构性修改(如换发型、换衣服),幅度需要提高,0.5-0.7。因为需要AI发挥更多创造力来生成新结构。
- 对于我们的“修手”案例,由于手部结构已完全崩坏,需要AI重新生成合理结构,幅度可以设为0.6-0.75。可以先从0.65开始试。
- 仅蒙版区域:勾选此选项。这会让AI的采样仅针对蒙版区域进行计算,能节省显存、加快速度,并且使生成内容更专注于蒙版内,与周围环境的协调性交由“蒙版模糊”参数处理。对于绝大多数局部重绘,都应该勾选。
- 填充/原图/潜空间噪声:这是“蒙版处理”的三种模式。
- 填充(fill):AI会先猜测蒙版区域原本应该是什么(根据周围像素),然后在此基础上生成。适合修复背景、移除物体。
- 原图(original):直接在蒙版区域的原图像素上添加噪声并重绘。适合修改物体本身(如换衣服颜色、改表情)。
- 潜空间噪声(latent noise):用纯噪声填充蒙版区域再生成。创造性最强,但与原图连贯性最差,慎用。
- 对于修手,选择“原图”或“填充”都可以尝试。“原图”可能对手部残留结构利用更多,“填充”可能更彻底地重新构建。
步骤三:生成与迭代点击生成。第一版效果可能不完美,常见问题有:
- 融合生硬:提高“蒙版模糊”值,或轻微降低“重绘幅度”。
- 手部依然畸形:提高“重绘幅度”,或在负面提示词中加强“bad hands, deformed”。
- 颜色/光照不协调:可以轻微调整提示词,加入“consistent lighting with the whole image”,或者使用“SD upscale”等插件后处理时统一色调。
3.3 涂鸦重绘实战:以“将白天场景改为黄昏”为例
我们有一张白天街道的图片,想通过涂鸦快速改为黄昏暖色调。
步骤一:上传与涂鸦绘制
- 将原图拖入“图生图”标签页。
- 切换到“局部重绘(涂鸦)”模式。
- 选择一个大尺寸的软边画笔,用橙色、红色、紫色在天空区域随意涂抹几笔。可以在地面也涂上一些暖色,模拟夕阳照射的光影。记住,涂鸦不是画画,是“暗示”。
步骤二:关键参数设置详解
- 重绘幅度:涂鸦重绘的幅度通常需要比局部重绘更高,因为你要改变的是整体氛围。建议从0.6-0.8开始尝试。太高(>0.85)可能导致画面完全失控,太低(<0.5)可能颜色变化不明显。
- 蒙版模式:这里通常选择“重绘蒙版内容”并不勾选“仅蒙版区域”。因为你的涂鸦是色彩提示,希望它能影响整个画面的色调调整。如果只想改变涂鸦部分(比如只给一件衣服加花纹),则可以勾选。
- 提示词:输入“beautiful sunset, golden hour, warm sunlight casting long shadows, cinematic lighting, street view”。这些词会和你的暖色涂鸦产生共鸣。
步骤三:生成与选择点击生成。由于随机性,可以一次生成多张(如4张)。你会得到从“微微泛黄”到“浓烈晚霞”不同效果的作品。选择一张最符合你预期的,如果觉得色调还不够,可以将这次的结果作为新原图,重复涂鸦过程,进行二次强化,这就是迭代创作。
4. 高阶技巧与插件加持:让控制力再上一个台阶
掌握了基础操作,你已经能解决80%的问题。但要成为高手,下面这些技巧和插件能让你如虎添翼。
4.1 ControlNet的梦幻联动:锁定姿态与构图
这是局部重绘的“终极外挂”。想象一下,你想把一个人的站姿改为坐姿,只用局部重绘几乎不可能,因为姿势是全局的。这时就需要ControlNet。
- OpenPose:如果你有另一张想要的坐姿参考图,可以将其输入到ControlNet的OpenPose预处理器中,提取骨骼姿态。然后在局部重绘时,将这个姿态图作为约束。这样,即使你只重绘了身体部分区域,AI也会按照新的坐姿来生成,保证人体结构合理。
- Canny/Depth:如果你想改变背景但保持场景的轮廓或景深结构,可以先用Canny(边缘检测)或Depth(深度图)提取原图的线条或空间信息,然后在重绘时作为约束。这样,AI生成的新背景会完美贴合原有的建筑轮廓或空间层次。
操作流程:在图生图页面,展开ControlNet单元,上传原图或姿态参考图,选择对应的预处理器和模型(如openpose, canny),勾选“启用”和“像素完美”。然后在重绘蒙版时,AI就会在遵守ControlNet约束的前提下进行创作。
4.2 Inpaint模型的专项优化
除了通用的大模型,社区还有专门为修复和重绘训练的模型,称为“Inpaint模型”。它们通常对物体边缘的融合、细节的连贯性有更好的表现。在WebUI中,你可以在“Stable Diffusion模型”下拉框旁边选择“Inpaint模型”进行加载。当进行高难度修复(如复杂纹理衔接、面部精细修复)时,使用这类专用模型效果往往更出色。
4.3 多蒙版分层处理
对于复杂的修改,不要试图用一个蒙版解决所有问题。例如,你想同时换掉人物的衣服和背景。更稳妥的做法是:
- 第一次重绘,蒙版只覆盖衣服,提示词描述新衣服,生成。
- 将第一次得到的结果作为新原图,第二次重绘,蒙版只覆盖背景,提示词描述新背景,生成。 这种分而治之的方法,让AI每次只专注解决一个问题,可控性大大增强,也方便单独调整每一步的参数。
5. 常见问题排查与避坑指南
在实际操作中,你会遇到各种各样奇怪的问题。这里我整理了一份“急救手册”。
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
| 重绘区域与周围严重不融合,有明显接缝 | 1. 蒙版模糊值太低。 2. 重绘幅度太高,新内容与原图差异过大。 3. 未勾选“仅蒙版区域”,导致整图被轻微重绘,焦点偏移。 | 1. 逐步提高“蒙版模糊”(8-16)。 2. 适当降低重绘幅度(0.4-0.6)。 3.确保勾选“仅蒙版区域”。 |
| 重绘区域内容完全扭曲,不符合提示词 | 1. 重绘幅度过高(接近1)。 2. 提示词过于简略或与模型风格不搭。 3. 蒙版区域太小,缺乏生成上下文。 | 1. 大幅降低重绘幅度(0.3-0.5)。 2. 丰富提示词,加入更具体的细节描述。 3. 适当扩大蒙版区域,包含更多周边像素。 |
| 涂鸦重绘后,整张图都变了,面目全非 | 重绘幅度设置过高,AI过度“发挥”。 | 将重绘幅度降至0.5以下,先观察效果。涂鸦重绘更适合中低幅度下的色彩引导。 |
| 人物重绘后,肤色或光影与周围不协调 | 1. 大模型本身肤色倾向强。 2. 重绘时未考虑环境光。 | 1. 在提示词中加入“consistent skin tone”、“same lighting as the original”。 2. 使用“ADetailer”等面部修复插件后处理,或生成后手动校色。 |
| 想重绘的区域总是被AI“忽略”,变化不大 | 重绘幅度太低,AI不敢修改原图。 | 提高重绘幅度,特别是对于结构性修改,尝试0.7以上。 |
| 使用ControlNet后,重绘内容僵硬或扭曲 | ControlNet权重过高,限制了AI的创造力。 | 在ControlNet单元中,降低“控制权重”(如从1.0降至0.7-0.8),或提高“起始控制步数”(让AI在生成后期才受约束)。 |
最后几个私藏技巧:
- “低幅度迭代”策略:对于非常精细的修改(如修复眼角细节),可以设置重绘幅度为0.3,连续生成2-3次,每次以上一次结果为基准。这比一次性用高幅度更平滑可控。
- 利用“VAE”改善色彩:切换不同的VAE模型可以显著影响输出色彩的饱和度和对比度。如果重绘部分颜色发灰或不正,尝试更换VAE(如使用
840000后缀的VAE)。 - PNG Info是你的后悔药:从SD生成的图片,用“PNG Info”功能可以读取其生成参数。重绘前,先把原图拖进去看看用了什么模型、提示词和参数,尽量保持一致,这是成功率最高的方法。
局部重绘和涂鸦重绘绝不是简单的“修补工具”,它们是通往精准控制AI绘画的桥梁。核心在于理解“重绘幅度”这个拨杆,以及清晰地区分“替换”与“引导”两种思维模式。多练、多试、多分析失败案例,你很快就能凭直觉判断出不同场景下该用哪个功能、参数该如何调配。当你能随心所欲地修改画面中的任何细节时,AI才真正成为了你手中如臂使指的创作工具。