1. 扩散模型基础回顾
扩散模型作为当前生成式AI领域的重要方法，其核心思想源于统计物理学中的扩散过程。不同于传统GAN或VAE，扩散模型通过逐步添加噪声破坏数据分布，再学习逆向过程来重建数据。这种看似"破坏-重建"的范式，在实际应用中展现出惊人的图像生成质量。
在Score-Based视角下，扩散模型可以理解为对数据分布梯度（即分数函数）的估计过程。这种视角将看似不同的方法（如EBMs和NCSN）统一到同一框架下，为理解模型行为提供了新的数学工具。
2. 基于能量的模型(EBMs)解析
2.1 EBMs基本框架
能量模型通过定义能量函数Eθ(x)来描述数据分布，其中θ为模型参数。数据概率密度表示为： pθ(x) = exp(-Eθ(x))/Zθ
这里Zθ是难以计算的归一化常数。传统EBMs训练需要估计这个难以处理的配分函数，这成为限制其应用的主要瓶颈。
2.2 分数匹配技术
分数匹配(SM)通过直接匹配模型与数据分布的分数函数（对数概率密度的梯度）来规避Zθ的计算： ∇x log pθ(x) ≈ ∇x log pdata(x)
实践中采用去噪分数匹配(DSM)变体，通过添加高斯噪声扰动数据点，使分数估计更稳定。这为后续NCSN的发展奠定了基础。
关键技巧：使用Langevin动力学进行采样时，步长选择需要满足Robbins-Monro条件（如ηt ∝ 1/t），否则可能导致采样不稳定。
3. 噪声条件分数网络(NCSN)
3.1 多尺度噪声设计
NCSN的核心创新在于使用不同尺度的高斯噪声扰动数据： {σi}i=1^L, 其中σ1 > σ2 > ... > σL > 0
每个噪声级别对应一个条件分数函数sθ(x,σi)，网络通过共享参数同时学习所有噪声级别的分数估计。这种设计解决了低密度区域分数估计不准的问题。
3.2 退火Langevin采样
采样过程采用退火策略：
- 从最大噪声级σ1开始
- 对每个σi执行T步Langevin动力学： x_{t+1} = xt + ηt sθ(xt,σi) + √(2ηt) zt
- 逐步减小噪声级别直至σL
这种退火过程有效避免了采样陷入局部极值，显著提高了生成质量。
4. 实际应用中的关键考量
4.1 网络架构选择
实践中通常采用U-Net类结构：
- 下采样编码器捕获多尺度特征
- 跳跃连接保持空间信息
- 噪声级别σ通过自适应组归一化(AdaGN)注入
4.2 噪声调度设计
噪声序列{σi}需要满足：
- 最大噪声σ1足够大以覆盖所有数据点
- 最小噪声σL接近0以获得清晰样本
- 中间级别呈几何级数递减
常用配置：σi = γ^(i-1)σ1, γ ∈ (0,1)
5. 典型问题与解决方案
5.1 采样速度慢
问题表现：生成高分辨率图像需要上千步迭代
优化方案：
- 使用DDIM等加速采样方法
- 知识蒸馏训练轻量级学生模型
- 采用预测-校正采样策略
5.2 模式坍塌
问题表现：生成样本多样性不足
诊断方法：
- 计算生成样本的FID指标
- 可视化潜在空间分布
解决方案：
- 调整噪声调度增加探索
- 引入正则化项保持分数函数Lipschitz连续
- 采用多阶段训练策略
6. 前沿扩展方向
当前研究热点包括：
- 三维生成：将分数估计扩展到点云/体素数据
- 条件生成：结合CLIP等跨模态模型
- 快速采样：构建可逆扩散过程
- 理论分析：建立收敛性保证
我在实际应用中发现，将NCSN与Latent Diffusion结合可以显著降低计算成本。具体做法是在VAE的潜在空间进行分数估计，这样既保持了生成质量，又将计算量减少了约70%。
