1. 从GAN到WGAN：为什么我们要关心生成器的“脾气”
如果你动手训过一段时间的生成对抗网络，大概率经历过这样的场景：判别器损失一路走低，生成器损失却像坐了火箭一样往上窜，生成的图片从模糊噪点直接退化成纯色块，或者干脆在几个固定模式之间反复横跳。这不是你的代码写错了，而是原始GAN在优化目标上存在结构性的缺陷。WGAN和它的改进版WGAN-GP，正是为了解决这类训练不稳定问题而出现的两套方案。这篇笔记面向的是已经跑通过至少一个GAN小项目、对生成器和判别器的基本结构有概念、但被训练崩溃折磨过的读者。我会把WGAN的核心推导逻辑、WGAN-GP的工程改进、以及我在实际训练中踩过的坑，按照“为什么这么设计—具体怎么实现—出了问题怎么排查”的顺序完整梳理一遍。
先说结论层面的东西：WGAN用Wasserstein距离替换了原始GAN中的JS散度，从理论上保证了即使两个分布完全不重叠，也能提供有意义的梯度；WGAN-GP则进一步用梯度惩罚替代了权重裁剪，让训练过程更稳定、超参数更少。这两步改进看起来简单，但每一步背后的动机和实现细节都值得反复琢磨。我见过不少人直接把WGAN-GP的损失函数抄进代码里，结果训练效果还不如原始GAN，问题往往出在对“为什么”的理解不够，导致参数设置和训练策略没有跟上。
2. 原始GAN到底哪里出了问题
2.1 JS散度的致命缺陷
原始GAN的判别器本质上是一个二分类器，它的目标是最大化区分真实样本和生成样本。当判别器训练得足够好时，它输出的概率值会趋近于0或1，此时生成器的损失函数——也就是JS散度——会变成一个常数。这个常数的梯度几乎为零，意味着生成器拿不到任何有效的更新信号。更糟糕的是，如果两个分布完全没有重叠，JS散度直接等于log2，梯度消失得干干净净。
这个问题在低维数据上还不明显，因为低维空间中两个分布很容易有交集。但到了图像这种高维空间，真实数据分布和生成数据分布几乎不可能有重叠区域。你可以把高维空间想象成一个巨大的房间，真实数据是房间里的一根细线，生成数据是另一根细线，两根线恰好相交的概率极低。这就是为什么原始GAN在图像生成任务上特别容易崩溃。
2.2 梯度消失与模式崩溃的根源
梯度消失和模式崩溃其实是同一个问题的两种表现。当判别器太强时，生成器梯度消失，训练停滞；当判别器太弱时，生成器会找到判别器的盲点，把所有样本都映射到同一个能骗过判别器的点上，这就是模式崩溃。原始GAN的训练需要在两者之间走钢丝，而这个平衡点极其脆弱。
我早期做过一个实验，用原始GAN生成64x64的人脸图像，判别器用五层卷积，生成器用五层反卷积。训练到第3000步左右，判别器损失降到0.01以下，生成器损失飙升到15以上，生成的图像全部变成同一种模糊的肤色块。这就是典型的判别器过强导致的梯度消失，生成器完全放弃了多样性。
2.3 从JS散度到Wasserstein距离的直觉理解
Wasserstein距离，也叫推土机距离，衡量的是把一个分布“搬”成另一个分布所需的最小代价。假设你有一堆沙子摆成形状A，想把它变成形状B，Wasserstein距离就是你搬运这些沙子所需的最小总工作量。这个定义的好处在于，即使A和B完全不重叠，只要它们之间有距离，Wasserstein距离就能给出一个有意义的值，而且这个值随分布之间的距离变化而平滑变化。
用数学语言说，Wasserstein距离的对偶形式可以写成：真实样本和生成样本在某个函数f下的期望之差的上确界，其中f必须满足1-Lipschitz连续性。这个“1-Lipschitz连续”就是WGAN实现中最关键也最容易出问题的地方。
3. WGAN的核心改进与实现细节
3.1 权重裁剪：简单但粗暴的Lipschitz约束
WGAN的作者最初提出的方案非常直接：既然要求函数f满足1-Lipschitz连续，那就把判别器（在WGAN中叫Critic，评论器）的所有权重限制在一个很小的范围内，比如[-0.01, 0.01]。每次更新完权重后，直接裁剪到这个区间。这样权重的变化幅度被限制住了，函数的Lipschitz常数自然就被控制住了。
这个方案在代码上极其简单，一行clamp就能搞定。但它有两个明显的副作用。第一，权重裁剪会把大部分权重推到边界值上，导致评论器实际上变成了一个二值网络，表达能力大幅下降。第二，裁剪阈值需要精细调节：太小会导致梯度消失，太大会导致Lipschitz约束失效。我在实验中试过0.1、0.05、0.01三个阈值，0.01时训练稳定但收敛极慢，0.1时训练前期就发散了。
3.2 评论器与判别器的本质区别
在WGAN中，评论器的输出不再经过Sigmoid函数，而是一个实数。这个实数可以理解为对样本质量的评分，分数越高表示越接近真实样本。损失函数的构造也变了：评论器希望最大化真实样本得分与生成样本得分之差，生成器希望最大化生成样本的得分。
这个变化带来的一个实际影响是，评论器的输出范围不再有界，你需要关注它的数值变化趋势而不是绝对值。我通常会在训练日志中记录每100步评论器输出的均值和方差，如果均值持续增大而方差不变，说明评论器在真实样本上越来越自信，可能需要调整学习率或增加生成器的更新频率。
3.3 训练策略的调整：n_critic参数的选择
WGAN论文建议每更新一次生成器，就更新n_critic次评论器，通常n_critic取5。这个设计的逻辑是：评论器需要足够准确才能为生成器提供可靠的梯度信号。如果评论器更新太少，它给出的评分噪声太大，生成器会被误导。
但n_critic不是越大越好。我试过n_critic=10，结果评论器过拟合到真实样本上，生成器更新时拿到的梯度方向偏差很大，生成的图像多样性明显下降。后来固定用n_critic=5，配合学习率0.0001，在多数数据集上都能稳定训练。如果你的数据集特别小，可以适当降低到3；如果数据集很大且多样，可以尝试7或8。
4. WGAN-GP：用梯度惩罚替代权重裁剪
4.1 梯度惩罚的数学动机
权重裁剪的问题在于它强制所有权重都变小，而不是只约束评论器在特定方向上的变化率。WGAN-GP的作者提出，Lipschitz连续性等价于函数梯度的范数不超过1。与其间接地通过裁剪权重来控制梯度，不如直接在损失函数中加入一项惩罚，让评论器在真实样本和生成样本之间的插值点上的梯度范数接近1。
这个插值点的采样方式是：在真实样本和生成样本之间随机取一个权重，做线性插值。比如真实样本x_r，生成样本x_g，随机数t服从0到1的均匀分布，插值样本就是t*x_r + (1-t)*x_g。然后计算评论器在这个插值样本上的梯度，惩罚其范数与1的偏差。
4.2 梯度惩罚项的实现要点
梯度惩罚项的实现有一个容易出错的细节：需要对插值样本求梯度，而不是对评论器的参数求梯度。在PyTorch中，这意味着你需要用torch.autograd.grad而不是loss.backward()。具体来说，先让插值样本经过评论器得到输出，然后用torch.autograd.grad(outputs=critic_output, inputs=interpolated, grad_outputs=torch.ones_like(critic_output), create_graph=True)来获取梯度。这里的create_graph=True很关键，因为梯度惩罚项本身也需要参与反向传播。
另一个细节是，梯度惩罚项只加在评论器的损失上，生成器的损失不变。评论器的总损失是：生成样本得分均值减去真实样本得分均值，再加上梯度惩罚项的系数乘以惩罚值。这个系数通常取10，我在实验中试过1、5、10、20，10确实是最稳定的选择。
4.3 去掉BatchNorm：一个容易被忽略的改动
WGAN-GP论文中明确建议在评论器中去掉BatchNorm，改用LayerNorm或者不加归一化。原因是BatchNorm会让每个样本的输出依赖于同批次的其他样本，这破坏了梯度惩罚的逐样本独立性。梯度惩罚是对每个插值样本单独计算的，如果评论器中存在BatchNorm，单个样本的梯度会受到批次中其他样本的影响，导致惩罚项失效。
这个改动在实际操作中很容易被忽略，因为BatchNorm在原始GAN中是标配。我第一次实现WGAN-GP时保留了BatchNorm，结果训练损失震荡得非常厉害，后来去掉BatchNorm换成LayerNorm，训练立刻稳定下来。如果你在评论器中使用了其他依赖批次的归一化方法，也需要一并检查。
5. 完整实现流程与参数配置
5.1 网络结构设计
评论器和生成器的结构需要根据具体任务来定。以64x64图像生成为例，我通常用这样的配置：生成器输入是128维噪声，经过全连接层映射到4x4x512，然后经过四次上采样卷积，每次卷积后接LayerNorm和ReLU，最后用Tanh输出到[-1,1]范围。评论器则是生成器的镜像结构，四次下采样卷积，每次接LayerNorm和LeakyReLU，最后全局平均池化输出一个标量。
这里有一个经验性的选择：评论器的参数量可以比生成器稍大一些，因为评论器需要足够的能力来评估样本质量。但差距不宜过大，否则评论器容易过强。我一般让评论器的参数量控制在生成器的1.2到1.5倍之间。
5.2 损失函数与优化器配置
评论器的损失函数：
def critic_loss(real_score, fake_score, interpolated_score, interpolated, lambda_gp=10): # Wasserstein距离项 w_distance = fake_score.mean() - real_score.mean() # 梯度惩罚项 gradients = torch.autograd.grad( outputs=interpolated_score, inputs=interpolated, grad_outputs=torch.ones_like(interpolated_score), create_graph=True, retain_graph=True )[0] gradient_norm = gradients.view(gradients.size(0), -1).norm(2, dim=1) gp = ((gradient_norm - 1) ** 2).mean() return w_distance + lambda_gp * gp生成器的损失函数：
def generator_loss(fake_score): return -fake_score.mean()优化器统一用Adam，学习率设为0.0001，beta1设为0.5，beta2设为0.9。beta1用0.5而不是默认的0.9，是因为GAN训练中动量太大会导致更新方向滞后，容易错过纳什均衡点。这个设置是从DCGAN继承下来的，在WGAN-GP中同样适用。
5.3 训练循环的完整代码框架
for epoch in range(num_epochs): for i, real_imgs in enumerate(dataloader): batch_size = real_imgs.size(0) # 训练评论器 n_critic 次 for _ in range(n_critic): z = torch.randn(batch_size, latent_dim).to(device) fake_imgs = generator(z).detach() # 采样插值系数 alpha = torch.rand(batch_size, 1, 1, 1).to(device) interpolated = (alpha * real_imgs + (1 - alpha) * fake_imgs).requires_grad_(True) real_score = critic(real_imgs) fake_score = critic(fake_imgs) interpolated_score = critic(interpolated) c_loss = critic_loss(real_score, fake_score, interpolated_score, interpolated) optimizer_c.zero_grad() c_loss.backward() optimizer_c.step() # 训练生成器一次 z = torch.randn(batch_size, latent_dim).to(device) fake_imgs = generator(z) fake_score = critic(fake_imgs) g_loss = generator_loss(fake_score) optimizer_g.zero_grad() g_loss.backward() optimizer_g.step()这个框架看起来简单，但有几个隐藏的坑。第一，fake_imgs在训练评论器时需要.detach()，否则梯度会传回生成器，导致生成器被意外更新。第二，插值样本需要requires_grad_(True)，否则torch.autograd.grad会报错。第三，retain_graph=True在计算梯度惩罚时是必须的，因为后续还要用这个计算图做反向传播。
6. 训练监控与常见问题排查
6.1 损失曲线的正确解读
WGAN-GP的损失曲线和原始GAN完全不同。评论器损失（c_loss）反映的是Wasserstein距离的估计值，它应该随着训练逐渐下降，但不会趋近于零，因为真实分布和生成分布之间始终存在差距。生成器损失（g_loss）是负的评论器评分，它应该随着训练逐渐下降（即评分上升），但同样不会趋近于零。
我通常关注的是c_loss的移动平均线。如果c_loss持续上升超过500步，说明评论器在真实样本和生成样本之间的区分能力在下降，可能是生成器太强了，需要降低生成器的学习率或者增加n_critic。如果c_loss剧烈震荡，幅度超过初始值的50%，说明梯度惩罚系数可能太大了，可以尝试从10降到5。
6.2 生成样本质量的评估方法
在训练过程中，我每隔500步会生成一批固定噪声对应的样本，保存下来做对比。这样可以直观地看到生成质量的变化趋势。除了肉眼观察，还可以计算FID（Frechet Inception Distance）作为量化指标。FID越低表示生成分布越接近真实分布。在WGAN-GP中，FID通常在前10000步快速下降，然后进入缓慢改善阶段。
需要注意的是，FID的计算依赖于预训练的特征提取网络，不同网络的FID值不可直接比较。我一般固定用同一个网络来计算，只关注相对变化。
6.3 典型问题速查表
| 问题现象 | 可能原因 | 排查方法 | 解决方案 |
|---|---|---|---|
| 生成样本全部相同 | 模式崩溃 | 检查生成器输入噪声的方差 | 增加噪声维度，降低生成器学习率 |
| 评论器损失震荡剧烈 | 梯度惩罚系数过大 | 打印梯度范数的均值 | 将lambda_gp从10降到5或2 |
| 训练后期生成质量下降 | 评论器过拟合 | 对比训练集和验证集的评论器评分 | 增加Dropout，减少评论器参数量 |
| 梯度惩罚项始终很大 | 插值采样有问题 | 检查插值样本的范围 | 确保alpha在0到1之间均匀采样 |
| 生成图像有棋盘伪影 | 反卷积步长设置不当 | 检查生成器上采样方式 | 改用最近邻插值加卷积 |
6.4 我踩过的三个坑
第一个坑是忘记在评论器中去掉BatchNorm。当时训练损失一直震荡，我以为是学习率的问题，调了三天才发现是BatchNorm在作怪。去掉之后训练立刻稳定，这个教训让我养成了每次实现新论文时逐条对照论文建议的习惯。
第二个坑是梯度惩罚项的计算图没有保留。PyTorch默认在backward之后释放计算图，如果先计算了评论器的损失并backward，再想计算梯度惩罚就会报错。正确的顺序是先算梯度惩罚，再算总损失，最后统一backward。
第三个坑是n_critic设置得太大。我一度以为评论器越准越好，把n_critic设到20，结果生成器每更新一次，评论器已经过拟合到当前的真实样本批次上，生成器拿到的梯度信号反而噪声很大。后来回归到5，配合适当的学习率衰减，效果明显改善。
7. 从WGAN-GP出发的扩展思路
7.1 谱归一化：另一种Lipschitz约束方案
谱归一化（Spectral Normalization）是WGAN-GP之外的另一种选择。它通过约束每一层权重的谱范数来控制整个网络的Lipschitz常数。相比梯度惩罚，谱归一化的计算开销更小，不需要额外的插值采样和梯度计算。但它的约束是全局的，不如梯度惩罚那样针对性强。我在一些中小规模数据集上对比过两者，WGAN-GP的生成质量略好，但谱归一化的训练速度更快。如果你的计算资源有限，谱归一化是一个值得考虑的替代方案。
7.2 条件生成与WGAN-GP的结合
把WGAN-GP扩展到条件生成场景，需要在评论器和生成器中都加入标签信息。评论器的输入变成图像和标签的拼接，生成器的输入变成噪声和标签的拼接。梯度惩罚项的计算方式不变，仍然在真实样本和生成样本之间插值。需要注意的是，标签信息不应该参与插值，插值只针对图像部分。这个细节在实现时容易搞错，如果标签也被插值，梯度惩罚会失去意义。
7.3 高分辨率生成的渐进式策略
直接在128x128或更高分辨率上训练WGAN-GP，评论器和生成器都需要很大的参数量，训练时间成倍增加。渐进式增长（Progressive Growing）是一种有效的策略：先从4x4分辨率开始训练，稳定后逐步增加分辨率，每次增加时平滑地淡入新的层。这个策略最初是为原始GAN设计的，但同样适用于WGAN-GP。我在128x128的人脸生成任务上用过渐进式策略，训练时间比直接训练缩短了约40%，最终FID也更低。
7.4 学习率调度与训练时长
WGAN-GP对学习率比较敏感，固定学习率在训练后期往往会导致损失震荡。我通常采用分段衰减策略：前50000步用0.0001，50000到100000步用0.00005，之后用0.00002。每次衰减后，生成样本的质量通常会有一次明显的提升。训练总步数取决于数据集复杂度，64x64的图像生成大约需要150000到200000步，128x128则需要300000步以上。
8. 一些实操中的个人体会
WGAN-GP不是万能药，它在多数场景下比原始GAN稳定，但并不意味着可以无脑套用。我见过有人在文本生成任务上直接用WGAN-GP，效果并不理想，因为文本的离散性使得Wasserstein距离的估计变得困难。对于离散数据，可能需要考虑其他的改进方向。
另外，WGAN-GP的训练时间通常比原始GAN长，因为每个批次需要额外计算梯度惩罚。在单卡环境下，64x64图像生成每1000步大约需要8到10分钟，比原始GAN慢30%左右。如果你的项目对训练时间敏感，需要权衡稳定性和效率。
最后分享一个监控训练的小技巧：我会在训练脚本中每隔100步打印一次评论器在真实样本和生成样本上的评分均值，以及梯度惩罚项的当前值。这三个数字的变化趋势比损失曲线更能反映训练状态。如果真实样本评分和生成样本评分的差距在缩小，说明生成器在进步；如果梯度惩罚项稳定在1附近，说明Lipschitz约束在起作用。这些实时指标帮我省去了很多事后分析的时间。
