SDXL 1.0模型微调：使用自定义数据集训练专属风格-平芜编程栈

SDXL 1.0模型微调：使用自定义数据集训练专属风格

想让AI画出你心中的独特风格吗？用SDXL 1.0训练自己的专属模型其实没那么难

你有没有遇到过这样的情况：用AI生成图片时，总觉得缺了点什么——可能是那种特定的色彩搭配，或者是你喜欢的某位画师的笔触风格。别担心，今天我就带你一步步用自定义数据集训练出专属于你的SDXL 1.0模型。

我自己就用这个方法训练了一个水彩风格的模型，现在生成图片时那种淡淡的水彩晕染效果，简直和我想要的风格一模一样。整个过程其实比想象中简单，只需要准备好你喜欢的图片，跟着下面的步骤走就行。

1. 环境准备：快速搭建训练环境

首先我们需要准备好训练环境。推荐使用Python 3.8以上的版本，这样兼容性会更好。

创建并激活虚拟环境是个好习惯，这样不会搞乱你系统里的其他项目：

python -m venv sdxl_train_env source sdxl_train_env/bin/activate # Linux/Mac # 或者 sdxl_train_env\Scripts\activate # Windows

然后安装必要的依赖包：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install diffusers transformers accelerate datasets pip install xformers # 这个可以加速训练过程

如果你有GPU的话，建议用GPU来训练，速度会快很多。可以用下面的代码检查一下GPU是否可用：

import torch print(f"GPU available: {torch.cuda.is_available()}") print(f"GPU name: {torch.cuda.get_device_name(0)}")

2. 准备数据集：收集和整理你的风格图片

数据集的质量直接决定了最终模型的效果。你需要准备至少20-30张同一风格的图片，数量越多效果一般会越好，但也不是越多越好，关键是图片质量要一致。

图片的尺寸建议统一为1024x1024像素，这是SDXL模型的最佳输入尺寸。你可以用下面的代码批量调整图片大小：

from PIL import Image import os def resize_images(input_folder, output_folder, size=(1024, 1024)): if not os.path.exists(output_folder): os.makedirs(output_folder) for filename in os.listdir(input_folder): if filename.lower().endswith(('png', 'jpg', 'jpeg')): img_path = os.path.join(input_folder, filename) with Image.open(img_path) as img: img = img.resize(size, Image.LANCZOS) output_path = os.path.join(output_folder, filename) img.save(output_path) print(f"Resized {filename}") # 使用示例 resize_images("raw_images", "resized_images")

记得为每张图片准备相应的描述文本。描述越详细，模型学习的效果就越好。比如不要只写"一只猫"，可以写"一只橘黄色的猫，在阳光下慵懒地躺着，周围有绿色的植物"。

3. 开始训练：微调SDXL模型

现在来到最核心的部分——实际训练模型。我们会使用Diffusers库提供的训练脚本。

首先加载预训练的SDXL模型：

from diffusers import StableDiffusionXLPipeline, UNet2DConditionModel from transformers import CLIPTextModel, CLIPTokenizer import torch # 加载预训练模型 model_path = "stabilityai/stable-diffusion-xl-base-1.0" unet = UNet2DConditionModel.from_pretrained(model_path, subfolder="unet") text_encoder = CLIPTextModel.from_pretrained(model_path, subfolder="text_encoder") tokenizer = CLIPTokenizer.from_pretrained(model_path, subfolder="tokenizer")

设置训练参数：

# 训练参数 train_batch_size = 1 gradient_accumulation_steps = 4 learning_rate = 5e-6 max_train_steps = 1000 checkpointing_steps = 500 # 优化器 optimizer = torch.optim.AdamW( unet.parameters(), lr=learning_rate, weight_decay=1e-2 )

开始训练循环：

# 训练循环（简化版） for step in range(max_train_steps): # 前向传播 with torch.cuda.amp.autocast(): loss = train_step(batch, unet, text_encoder, noise_scheduler) # 反向传播 loss.backward() # 梯度累积 if (step + 1) % gradient_accumulation_steps == 0: optimizer.step() optimizer.zero_grad() # 保存检查点 if (step + 1) % checkpointing_steps == 0: save_checkpoint(unet, step)

实际训练时你可能需要根据你的数据集大小和硬件条件调整这些参数。如果显存不够，可以减小batch size或者使用梯度累积。

4. 测试效果：看看训练成果如何

训练完成后，让我们测试一下模型的效果：

def generate_test_image(prompt, model_path, output_path="output.png"): pipe = StableDiffusionXLPipeline.from_pretrained( model_path, torch_dtype=torch.float16, ).to("cuda") image = pipe(prompt, num_inference_steps=50).images[0] image.save(output_path) return image # 生成测试图片 test_prompt = "a beautiful landscape in the style of my custom dataset" generated_image = generate_test_image(test_prompt, "./my_custom_sdxl")

多尝试不同的提示词，看看模型在各种情况下的表现。如果某些方面效果不理想，可能需要调整训练数据或者重新训练。