如何5分钟部署SDXL Inpainting 0.1：从零搭建AI图像修复环境的完整教程

如何5分钟部署SDXL Inpainting 0.1：从零搭建AI图像修复环境的完整教程

【免费下载链接】stable-diffusion-xl-1.0-inpainting-0.1项目地址: https://ai.gitcode.com/hf_mirrors/diffusers/stable-diffusion-xl-1.0-inpainting-0.1

SDXL Inpainting 0.1（模型名：stable-diffusion-xl-1.0-inpainting-0.1）是 Stability AI 推出的基于 Stable Diffusion XL 底座的AI 图像修复（Inpainting）模型：给它一张原图加一张黑白遮罩图，它就能按提示词智能重绘被遮罩选中的区域，其余部分保持不变。本文带你从零开始，5 分钟完成环境搭建并跑通第一次图像修复 🚀

一、它是什么？为什么值得部署

• 文生图 + 局部重绘：在 SDXL 文生图能力上扩展了 inpainting 能力，支持最高 1024×1024 分辨率
• 遮罩驱动：遮罩图中白色区域 = 需要修复的部分，黑色区域 = 保留原样
• 低门槛：官方已封装进 diffusers 库，pip install即可使用，无需从零训练

技术上，它的 UNet 在标准 4 个通道基础上新增了 5 个输入通道（4 通道编码遮罩图像 + 1 通道遮罩本身），所以in_channels为 9，配置文件见 unet/config.json。

二、仓库结构速览：5分钟看懂每个组件

模型由 6 大组件构成，全部按子目录存放：

目录 / 文件	组件	作用
model_index.json	流水线索引	声明使用StableDiffusionXLInpaintPipeline管线
text_encoder/、text_encoder_2/	双 CLIP 文本编码器	理解提示词（OpenCLIP-ViT/G + CLIP-ViT/L）
tokenizer/、tokenizer_2/	分词器	将提示词切分为模型可读取的 token
unet/	9 通道 UNet	扩散去噪核心，读取原图 + 遮罩
vae/	VAE 编解码器	像素空间与潜空间互转
scheduler/scheduler_config.json	Euler 离散调度器	控制去噪步长与噪声曲线

各目录下的权重同时提供fp16（*.fp16.safetensors）与 fp32 两种精度，显存紧张时优先选 fp16，体积约减半。

三、一键安装：3条命令完成环境准备

需要 Python 3.10+ 与 PyTorch（有 NVIDIA 显卡建议装 CUDA 版本）：

# 1. 安装依赖 pip install diffusers transformers accelerate safetensors torch

# 2. 拉取模型仓库 git clone https://gitcode.com/hf_mirrors/diffusers/stable-diffusion-xl-1.0-inpainting-0.1

# 3. 验证环境 python -c "import diffusers, torch; print(diffusers.__version__, torch.cuda.is_available())"

💡 提示：磁盘紧张时可只保留.fp16.safetensors权重文件，能省下近一半空间。

四、最快运行方法：跑通第一次AI图像修复

官方示例代码见 README.md，核心只需以下几行：

import torch from diffusers import AutoPipelineForInpainting from diffusers.utils import load_image # 从本地仓库加载模型，fp16 精度更省显存 pipe = AutoPipelineForInpainting.from_pretrained( "./stable-diffusion-xl-1.0-inpainting-0.1", torch_dtype=torch.float16, variant="fp16", ).to("cuda") image = load_image("cat.jpg").resize((1024, 1024)) # 原图 mask_image = load_image("cat_mask.png").resize((1024, 1024)) # 遮罩图 result = pipe( prompt="a tiger sitting on a park bench", image=image, mask_image=mask_image, guidance_scale=8.0, num_inference_steps=20, strength=0.99, # 注意：务必小于 1.0 ).images[0] result.save("output.png")

遮罩图制作很简单：在任意修图工具（Photoshop、GIMP 或在线工具）中，把要修复的区域涂成纯白、其余涂成纯黑即可。

五、关键参数调优指南：strength、步数与引导系数

参数	推荐值	说明
strength	0.5 ~ 0.99	修复强度，必须 < 1.0；越小越贴近原图，越大重绘越彻底
num_inference_steps	15 ~ 30	步数越多细节越好、速度越慢；20 是性价比之选
guidance_scale	7 ~ 10	提示词遵循度，8.0 为官方推荐值
分辨率	1024×1024	模型训练分辨率，偏离过多会掉质量
精度	fp16	显存占用约减半，效果几乎无损

🎯 调参经验：只想"换掉某个物体"用strength ≈ 0.8；大面积重绘可用0.95 ~ 0.99。把strength设为 1.0 虽可全图重绘，但官方文档明确提示画面锐度会下降，不建议这么做。

六、常见问题与已知限制

Q1：显存要多大？1024×1024 + fp16 下约需 8GB 显存；16GB 以上可稳定跑满分辨率并留足余量。纯 CPU 能跑通流程，但单张图要等几十分钟，只适合验证环境。

Q2：生成的图为什么不够"真实"？模型本身有已知限制（见 README.md）：无法渲染清晰文字、复杂组合构图表现不佳、人脸可能失真，且 VAE 编解码是有损的。这属于 SDXL 一代模型的普遍特性，而非部署问题。

Q3：遮罩边缘出现糊边怎么办？把遮罩边缘做一点羽化（约 2~5px），并把strength适当调低，过渡会更自然。

七、总结

SDXL Inpainting 0.1 是目前最容易上手的开源 AI 图像修复方案之一：安装依赖 → 拉取模型 → 几行代码出图，全程 5 分钟。结合本文的参数调优表，你就能把"局部换装、物体替换、瑕疵修复"这类需求跑成日常生产力工具 🛠️

【免费下载链接】stable-diffusion-xl-1.0-inpainting-0.1项目地址: https://ai.gitcode.com/hf_mirrors/diffusers/stable-diffusion-xl-1.0-inpainting-0.1