表征空间MMD：解决扩散语言模型后训练分布漂移-平芜编程栈

1. 这不是又一个“扩散模型加MMD”的套壳文章——它直击语言模型后训练的隐性失真痛点

你有没有遇到过这样的情况：用强化学习对一个预训练好的大语言模型做后训练，比如让模型更符合人类偏好、更少输出有害内容、或者更精准地遵循指令。训练过程看着一切正常——奖励分数稳步上升，策略梯度更新稳定，loss曲线平滑下降。但等你真正拿生成结果去测试时，却发现模型“学歪了”：它开始回避复杂推理，偏爱短平快的回答；或者在保持事实一致性上明显退化；甚至出现一种难以名状的“语感钝化”——句子语法没问题，逻辑也通顺，但就是读着别扭，像隔着一层毛玻璃看人说话。这种问题不体现在任何标准指标上，BLEU、ROUGE、甚至人工打分都可能给出高分，但它真实存在，且在部署阶段才集中爆发。我过去三年带团队做过七次不同规模的语言模型后训练项目，其中四次在上线前两周被紧急叫停，原因全指向这个“不可见的分布漂移”。而这篇标题里的Representation-Space MMD for Diffusion Language Models，正是我们团队在解决这个问题时，从数学底层重新锚定的一个新支点。它不是简单地把最大均值差异（Maximum Mean Discrepancy）这个老工具搬到扩散语言模型（Diffusion Language Models）上，而是把MMD的计算位置，从传统的token序列空间，精准地、有理论保障地，挪到了模型内部的表征空间（Representation Space）。这个位移看似微小，却直接绕开了token离散性带来的统计噪声，让后训练过程中的分布对齐变得可测、可控、可解释。它特别适合那些已经拥有成熟预训练基座、正面临政策合规压力、需要快速迭代安全策略，但又不敢轻易动核心架构的团队。如果你正在为RLHF训练后的模型“越训越傻”而头疼，或者想给你的扩散语言模型加上一道可量化的分布稳定性护栏，那接下来的内容，就是我们踩过坑、调过参、跑过十多万步实验后，整理出的完整实操路径。

2. 为什么非得是“表征空间”？——拆解传统方法失效的底层逻辑

2.1 Token空间MMD的三大硬伤：离散、稀疏、语义失焦

在深入“Representation-Space MMD”之前，必须先说清楚，为什么我们不能沿用过去在图像生成领域那套成熟的、直接在像素空间计算MMD的方法。语言和图像是两种完全不同的数据模态，强行移植只会水土不服。我拿我们去年一个失败案例来说明：当时我们尝试在token ID序列上直接计算MMD，目标是让RLHF微调后的模型输出分布，逼近人类标注数据的token分布。结果呢？训练异常顺利，MMD loss在三天内就降到了1e-5以下，但生成质量却在第48小时开始断崖式下跌。复盘发现，问题出在三个根本性差异上。

第一，离散性导致的核函数失效。图像像素是连续的，高斯核（Gaussian Kernel）能自然地衡量两个像素块的相似度。但token ID是整数索引，ID=1001和ID=1002之间，语义距离可能是“苹果”和“香蕉”，也可能是“苹果”和“量子纠缠”。用欧氏距离算MMD，等于默认所有相邻token语义距离相等，这显然荒谬。我们试过用余弦距离替代，但token embedding本身是高度非线性的，余弦距离在高维稀疏空间里极易陷入“维度诅咒”，导致MMD估计方差极大，训练过程抖动严重。

第二，序列长度的天然异构性。人类标注的一句话可能是5个词，模型生成的可能是50个词。传统序列MMD要么强制截断（丢失关键信息），要么填充（引入虚假padding token）。我们曾用BERT-style的[CLS] token作为序列摘要，再计算MMD，结果发现[CLS]向量在长文本中极易被无关细节淹没，其表征能力在超过32个token后就急剧衰减。一次A/B测试显示，用[CLS]摘要的MMD loss与最终人工评估得分的相关性只有0.23，几乎为零。

第三，语义焦点的错位。MMD的本质是衡量两个分布的“平均差异”。但在token空间，这个“平均”会被高频词（如“the”, “is”, “a”）彻底主导。我们分析过一个典型batch，发现MMD loss的78%贡献来自前10个最常见token，而真正承载语义核心的动词、名词、专有名词，其梯度贡献几乎可以忽略。这就像用体重秤去称量一台精密仪器的螺丝松紧——量纲完全不对。

提示：当你看到一篇论文说“我们在token空间应用MMD取得了SOTA”，请立刻检查它的token预处理方式、核函数选择、以及是否做了高频词mask。没有这些，它的MMD很可能只是在拟合统计噪声。

2.2 表征空间的三重优势：连续、稠密、语义对齐

那么，“Representation Space”凭什么能解决上述问题？答案在于，它直接作用于模型理解世界的“中间语言”。以一个典型的扩散语言模型为例，其核心流程是：输入一个随机噪声序列 → 经过多层Transformer Block → 输出一个去噪后的隐藏状态序列（hidden states）→ 最终通过LM Head映射为token概率。而这个隐藏状态序列，就是我们要锚定的表征空间。

首先，它是连续的。每个hidden state是一个d维（如d=4096）的浮点向量，天然适配高斯核等连续核函数。更重要的是，这个空间是模型自己学出来的，它已经将离散的token ID映射到了一个语义稠密的流形上。在这里，“苹果”和“香蕉”的向量距离，会远小于“苹果”和“量子纠缠”，这是模型在预训练阶段就内化了的世界知识。

其次，它是稠密且鲁棒的。我们对比过不同层的hidden states：底层（Layer 1-3）主要编码句法和局部共现，中层（Layer 4-8）开始融合语义角色和事件结构，顶层（Layer 9+）则聚焦于全局主题和意图。我们最终选择第7层的[CLS] token对应的hidden state作为MMD计算点，原因很实在：它足够深，已具备丰富语义；又不过深，避免了顶层对特定任务的过度特化。实测表明，在这个点上，相同语义的不同表达（如“他买了一辆车” vs “他购置了一台机动车”）的余弦相似度稳定在0.82±0.03，而不同语义的句子（如“他买了一辆车” vs “太阳从东边升起”）则低于0.15。这种区分度，是token ID空间永远无法企及的。

最后，也是最关键的，它是任务无关的语义对齐。MMD loss在这里的作用，不再是强迫模型输出某个特定token，而是强迫它在“理解层面”与参考分布保持一致。这完美契合了后训练（post-training）的核心诉求：我们不希望模型死记硬背人类答案，而是希望它在思考问题、组织逻辑、权衡利弊的整个认知链条上，与人类专家保持同频。这就像教一个厨师，不是给他一本菜谱让他照抄，而是带他去顶级餐厅，让他感受每道菜背后火候、刀工、调味的哲学。表征空间MMD，就是那个“感受哲学”的量化标尺。

2.3 为什么是Diffusion Language Models？——扩散范式带来的独特机遇

可能有人会问：这套方法难道不能用在标准的自回归语言模型（AR-LM）上吗？当然可以，而且我们早期就在Llama-2上验证过。但它的价值在Diffusion Language Models（DLM）上被指数级放大了。原因在于扩散模型的生成机制，天然地、结构化地暴露了模型的“认知过程”。

一个AR-LM是一次性吐出整个序列，它的内部状态是黑箱。而一个DLM，比如基于掩码预测（Masked Prediction）或逐步去噪（Step-wise Denoising）的模型，它的每一次迭代，都在显式地修正一个“不完美的理解”。我们可以把它想象成一个不断自我质疑、自我修正的思考者。第一次迭代，它可能只猜出主干框架（“这是一个关于XX的讨论”）；第二次，它填充关键实体（“XX是人工智能伦理”）；第三次，它细化论据（“涉及数据隐私和算法偏见”）……这个过程，每一帧都对应着一个清晰的、可提取的hidden state。

这给了我们一个无与伦比的机会：我们可以在多个时间步（timestep）上，同时施加MMD约束。而不像AR-LM，只能在一个最终的、静态的[CLS]向量上做一次对齐。我们的实现方案是：在扩散过程的t=10, t=20, t=30（假设总步数为50）这三个关键节点，分别提取[CLS] hidden state，并计算它们与参考分布的MMD。这相当于给模型的认知过程装上了三个“校准仪”，确保它不仅在起点和终点正确，更在中间的每一个思考环节都走在正确的语义轨道上。实测数据显示，这种多步MMD约束，相比单步约束，将生成文本的事实一致性错误率降低了41%，而训练开销仅增加了12%。这个性价比，是AR-LM架构无法提供的。

3. 核心实现：从理论公式到可运行代码的完整链路

3.1 数学定义与损失函数设计：不只是套公式，更要懂参数意义

现在，让我们把上面的思路，落地为一行行可执行的代码。核心公式其实非常简洁，但每一个符号背后，都有我们反复调试的经验。

设 $ \mathcal{X} = {x_i}{i=1}^n $ 是参考分布（例如，高质量人类标注数据集）在表征空间中的样本集合，$ \mathcal{Y} = {y_j}{j=1}^m $ 是当前扩散模型在相同表征空间中生成的样本集合。那么，表征空间MMD的无偏估计为：

$$ \text{MMD}^2_{\text{u}}(\mathcal{X}, \mathcal{Y}) = \frac{1}{n(n-1)} \sum_{i \neq i'} k(x_i, x_{i'}) + \frac{1}{m(m-1)} \sum_{j \neq j'} k(y_j, y_{j'}) - \frac{2}{nm} \sum_{i,j} k(x_i, y_j) $$

其中，$ k(\cdot, \cdot) $ 是核函数。我们选用缩放高斯核（Scaled Gaussian Kernel）：

$$ k(u, v) = \exp\left(-\frac{|u - v|^2_2}{2\sigma^2}\right) $$

这里，$ \sigma $ 是带宽（bandwidth），它决定了我们关注的“语义粒度”。$ \sigma $ 太小，MMD会过于敏感，把“苹果”和“红苹果”也判为不同分布；$ \sigma $ 太大，又会失去区分度，把“苹果”和“汽车”也视为相似。我们不采用文献中常见的中位数启发式（median heuristic），因为它的计算开销大，且在小batch下不稳定。我们采用经验法则（Empirical Rule）：在训练开始前，用一个小型验证集（约1000个样本）计算所有样本对的欧氏距离，取其25%分位数（Q1）作为 $ \sigma $ 的初始值。这个值通常落在 $ [0.8, 1.5] $ 区间内，我们将其固定为1.2。后续训练中，$ \sigma $ 不再更新，因为我们发现动态调整反而会引入额外的不稳定性。

注意：不要迷信“自动调参”。在表征空间MMD中，一个稳定的、有物理意义的 $ \sigma $ ，比一个理论上最优但波动剧烈的 $ \sigma $ 更重要。我们曾用网格搜索在 $ \sigma \in [0.1, 5.0] $ 上找最优值，结果发现，当 $ \sigma $ 在1.0到1.5之间时，最终模型性能差异不到1.5%，但训练曲线的平滑度提升了3倍。工程实践，稳定压倒一切。

3.2 模型集成与Hook注入：如何在不修改模型源码的前提下“插针”

最大的技术挑战，往往不在数学，而在工程。我们的扩散语言模型基座是一个封装好的、不开源的商业API。我们无法直接修改它的forward函数。因此，我们必须用“外科手术式”的方式，在不触碰核心代码的前提下，精准地钩住（hook）到我们需要的hidden state。

我们采用PyTorch的register_forward_hook机制。具体步骤如下：

定位Hook点：首先，我们需要知道模型的内部结构。我们用print(model)命令打印出模型的完整层结构，找到第7层Transformer Block的输出位置。对于Hugging Face风格的模型，它通常是model.encoder.layer[6].output.LayerNorm之后的输出（注意：索引从0开始，所以第7层是[6]）。

编写Hook函数：这个函数会在每次前向传播经过该层时被调用，它接收三个参数：模块本身、输入张量、输出张量。我们只关心输出张量。

class RepresentationHook: def __init__(self): self.representations = [] def __call__(self, module, input, output): # output shape: [batch_size, seq_len, hidden_dim] # 我们只取[CLS] token, 即第一个token cls_rep = output[:, 0, :] # shape: [batch_size, hidden_dim] self.representations.append(cls_rep.detach().cpu()) # 立即detach并移到CPU，避免GPU显存爆炸 hook_instance = RepresentationHook() target_layer = model.encoder.layer[6].output.LayerNorm handle = target_layer.register_forward_hook(hook_instance)

多步Hook管理：由于我们需要在t=10,20,30三个时间步获取表征，我们必须在扩散循环中，精确地在这些步数触发hook。我们修改了扩散采样器的step函数，在if t in [10, 20, 30]:的判断分支里，手动调用model(...)进行一次前向传播，并清空hook_instance.representations列表，确保每次只捕获当前步的表征。这听起来有点“暴力”，但实测下来，它比试图在反向传播中注入梯度要稳定得多，且对原始采样逻辑零侵入。
损失注入：最后，我们将三个时间步捕获到的表征，拼接成一个大的batch，然后计算MMD loss。这个loss被加到原有的扩散损失（如去噪loss）和策略梯度loss之后，作为一个正则项：
```
total_loss = diffusion_loss + policy_gradient_loss + lambda_mmd * mmd_loss
```
其中，lambda_mmd是一个超参数，我们设为0.3。这个值是通过在验证集上观察MMD loss与最终人工评估得分的帕累托前沿（Pareto frontier）确定的：当lambda_mmd> 0.3时，MMD loss下降很快，但生成质量开始受损；当lambda_mmd< 0.2时，MMD loss几乎不降，失去了约束意义。

3.3 数据管道与参考分布构建：高质量“锚点”的炼金术

MMD的效果，一半取决于算法，另一半取决于“参考分布”（Reference Distribution）的质量。它不是随便找一堆好句子就能凑数的。我们花了整整六周，构建了一个名为“Semantic Anchor Set”（SAS）的专用数据集，它有三个核心特征：

第一，语义覆盖的完备性。SAS不是按主题分类的，而是按认知操作类型（Cognitive Operation Type）划分的。我们定义了7类基础操作：Fact-Verification（事实核查）、Causal-Inference（因果推断）、Counterfactual-Reasoning（反事实推理）、Value-Judgment（价值判断）、Multi-Hop-Query（多跳查询）、Ambiguity-Resolution（歧义消解）、Creative-Generation（创意生成）。每一类，我们都精心挑选了50个高质量样本，确保它们代表了该操作的“黄金标准”——即人类专家在该任务上最稳健、最无争议的思考路径。例如，在Causal-Inference类中，我们不会选“吸烟导致肺癌”这种教科书级例子，而是选“某地区在实施新的交通政策后，交通事故率下降了15%，这是否证明政策有效？”这种需要控制混杂变量的真实场景。

第二，表征层面的多样性。仅仅语义多样还不够。我们要求SAS中的样本，在表征空间中也要均匀分布。为此，我们用基座模型对所有候选句子进行编码，得到它们的[CLS]向量，然后在这些向量上运行K-Means聚类（K=100）。我们从每个簇中，按“句子长度”、“词汇复杂度”、“情感极性”三个维度，各挑选1个最具代表性的样本。这样，SAS在表征空间中，就构成了一个均匀的、高覆盖度的“语义网格”。

第三，对抗性扰动。为了防止模型“死记硬背”SAS，我们在构建过程中，对每个原始句子，都生成了3个语义等价但表征略有差异的变体。变体生成不是靠同义词替换（那太容易被识别），而是通过一个轻量级的、冻结权重的“语义扰动器”（Semantic Perturber）模型。这个扰动器是一个只有两层的MLP，它接收原始[CLS]向量，输出一个微小的delta向量（norm < 0.1），然后将delta加到原始向量上，再用一个小型的解码器（decoder）将其映射回一个语法正确、语义不变的新句子。这个过程保证了SAS的“硬度”——模型必须真正理解语义，而不是记住特定的向量坐标。

实操心得：SAS的构建，是整个项目中最耗时但也最值得的投资。我们曾尝试用公开的HumanEval或Alpaca数据集直接作为参考，结果MMD loss虽然降得飞快，但模型在真实业务场景中的表现毫无提升。直到我们亲手打磨出SAS，效果才真正显现。记住，参考分布不是“数据”，而是“标准”。标准错了，再好的算法也是南辕北辙。

4. 实战复盘：从实验室到生产环境的全流程记录

4.1 训练配置与硬件资源：不吹牛，只说真实消耗

我们所有的实验，都在一个标准的8卡A100（80GB）服务器集群上完成。模型基座是基于Llama-3架构的扩散语言模型，参数量约为13B。以下是我们的核心训练配置，全部公开，没有任何“实验室魔法”：

Batch Size: 64。这是我们在显存和梯度稳定性之间找到的最佳平衡点。更大的batch（如128）会导致MMD loss的方差增大，训练抖动；更小的batch（如32）则会让MMD的估计过于粗糙，收敛缓慢。
Learning Rate: 主网络使用1e-5的线性warmup（500步）+ cosine decay；MMD相关的hook层参数（如果需要微调）使用5e-6。我们发现，对hook层使用更低的学习率，能显著提升MMD loss的收敛平滑度。
Optimization: AdamW，weight_decay=0.01，betas=(0.9, 0.999)。没有使用任何花哨的优化器。
Training Steps: 总共20,000步。其中，前5,000步是纯扩散损失预热，不加入MMD；中间10,000步是MMD与扩散损失联合训练；最后5,000步是MMD主导的精调（此时lambda_mmd线性提升至0.5）。
Checkpointing: 每1,000步保存一次checkpoint，并在验证集上运行一次完整的MMD评估（计算所有验证样本的MMD score）。我们不依赖单一的best checkpoint，而是采用“ensemble of checkpoints”策略：在最后10个checkpoint中，选取MMD score最低的3个，对它们的输出进行投票（voting）或平均（averaging）。这个简单的ensemble，将最终的MMD score又降低了12%。

硬件消耗方面，单次完整训练耗时约58小时。显存占用峰值为78GB/卡，GPU利用率稳定在92%-95%。我们没有使用任何模型并行或流水线并行，所有优化都基于数据并行和梯度累积（gradient accumulation steps=2）。

4.2 效果量化：不仅仅是“看起来更好”，而是“测出来更稳”

效果不能靠主观感受，必须用数据说话。我们设计了一套三级评估体系，覆盖了从底层统计到顶层业务的全链条：

第一级：分布对齐度（Distribution Alignment）。这是MMD的本职工作，我们用三个指标衡量：

MMD Score: 在独立的10,000样本验证集上计算。基线模型（无MMD）的score为0.421；加入表征空间MMD后，降至0.187，降幅达55.6%。
FID (Fréchet Inception Distance): 借鉴图像领域的FID，我们将表征空间视为“特征空间”，计算两个分布的均值和协方差矩阵的距离。基线FID为128.3，MMD后降至63.7。
Kernel Two-Sample Test p-value: 这是一个统计检验，p-value越小，说明两个分布越不可能来自同一源头。基线p-value为0.89，MMD后降至0.003，意味着在99.7%的置信水平下，我们可以拒绝“两个分布相同”的原假设。

第二级：生成质量（Generation Quality）。我们邀请了12位内部领域专家（5位NLP研究员，4位产品负责人，3位资深内容编辑），对200个测试query的生成结果进行双盲打分（1-5分）。评分维度包括：Factuality（事实性）、Coherence（连贯性）、Helpfulness（有用性）、Safety（安全性）。结果如下表所示：

指标	基线模型	表征空间MMD	提升
Factuality	3.42 ± 0.21	3.89 ± 0.18	+13.7%
Coherence	3.75 ± 0.19	4.12 ± 0.15	+9.9%
Helpfulness	3.58 ± 0.23	3.94 ± 0.20	+10.1%
Safety	4.01 ± 0.17	4.33 ± 0.14	+8.0%

注意：所有提升均在p<0.01的水平下具有统计显著性（paired t-test）。尤其值得注意的是Factuality的提升幅度最大，这印证了我们的核心假设：表征空间的对齐，最直接地改善了模型的“事实根基”。

第三级：业务指标（Business Impact）。这才是最终的试金石。我们将模型部署到一个真实的客服对话补全（Chat Completion）场景中，监控了上线后一周的关键指标：

用户主动终止对话率（Drop-off Rate）: 下降了22%。用户不再因为回答“答非所问”或“似是而非”而放弃对话。
一次解决率（First Contact Resolution, FCR）: 提升了15%。这意味着更多用户的问题，在第一次交互中就得到了准确、完整的解答。
人工客服转接率（Escalation Rate）: 下降了31%。模型成功拦截了更多本应由人工处理的复杂、高风险咨询。

这些数字背后，是实实在在的成本节约和用户体验提升。一个31%的转接率下降，意味着我们每月可以减少约1200小时的人工客服工时。

4.3 部署与监控：让MMD从训练指标变成线上“生命体征”

训练完成，只是万里长征第一步。如何让MMD的价值在生产环境中持续发挥，是我们投入最多精力的环节。我们没有把它当作一个“一次性”的训练技巧，而是设计了一套完整的线上监控与反馈闭环。

线上实时MMD监控：我们在服务端，为每一个生成请求，都同步计算其表征向量，并与SAS的中心向量（centroid）计算余弦距离。这个距离，被我们命名为“Semantic Drift Index”（SDI）。SDI > 0.35的请求，会被自动标记为“高漂移”，进入一个特殊的审核队列。我们发现，SDI与人工投诉率呈强正相关（r=0.87），它成了我们线上最灵敏的“预警雷达”。

动态SAS更新：SAS不是一成不变的。我们建立了一个“SAS进化委员会”，由3名NLP工程师和2名业务专家组成。他们每周审查所有被标记为“高漂移”的请求，如果发现其中存在一批新的、高质量的、未被SAS覆盖的语义模式，就会将这些样本加入SAS，并触发一次轻量级的在线微调（online fine-tuning），只更新hook层和MMD相关的参数，耗时仅需15分钟。这个机制，让我们的模型能够像生物一样，持续适应新的语言现象和业务需求。

AB测试框架：我们没有一刀切地全量上线。而是设计了一个精细的AB测试：A组（对照组）使用基线模型；B组（实验组）使用MMD模型；C组（灰度组）使用MMD模型，但只对SDI > 0.25的请求启用MMD约束，其余请求走基线。这个C组的设计，是为了验证MMD的“按需增强”能力。结果令人惊喜：C组在保持了与A组几乎相同的响应延迟（<5ms差异）的同时，其FCR指标达到了B组的92%，证明了MMD约束完全可以做到“精准打击”，而非“无差别轰炸”。

5. 常见问题与独家避坑指南：那些文档里永远不会写的真相

5.1 “我的模型没有[CLS] token，怎么办？”——通用Hook方案

很多现代语言模型（尤其是Decoder-only架构）并不使用[CLS] token。别慌，这恰恰说明你遇到了一个更普遍的问题。我们的解决方案是：用注意力池化（Attention Pooling）替代[CLS]。

具体做法是：在目标层（如第7层）的输出上，我们不取第一个token，而是计算一个可学习的、单头的注意力权重向量。这个向量的维度与序列长度相同，它会自动学习“哪个位置的token最能代表整个序列的语义”。实现起来非常简单：

# 在hook函数中 def attention_pooling(hidden_states): # hidden_states: [batch, seq_len, dim] # 定义一个可学习的query向量 query = nn.Parameter(torch.randn(dim)) # 计算query与每个token的相似度 scores = torch.einsum('bd,bld->bl', query, hidden_states) # [batch, seq_len] weights = F.softmax(scores, dim=-1) # [batch, seq_len] # 加权求和 pooled = torch.einsum('bl,bld->bd', weights, hidden_states) # [batch, dim] return pooled

这个attention_pooling模块，我们放在hook函数内部，作为一个轻量级的、与主模型解耦的组件。它只需要几十个参数，训练成本极低，但效果惊人。在我们的测试中，它在没有[CLS]的模型上，MMD score的降低效果与有[CLS]的模型相差不到3%。

5.2 “MMD loss不下降，是不是代码写错了？”——排查清单

这是最常被问到的问题。90%的情况下，不是代码错，而是数据或配置错。请按此顺序逐一排查：

检查Hook是否真的被触发：在hook函数的第一行，加一句print("Hook triggered at step", t)。如果没输出，说明你hook的位置错了，或者模型根本没有走到那一步（比如用了缓存，跳过了某些层）。
检查表征向量的数值范围：在hook函数中，打印output.mean(), output.std()。正常的hidden state，mean应该在[-0.1, 0.1]之间，std在[0.8, 1.2]之间。如果std接近0，说明该层输出已经坍缩（collapse），需要检查模型是否训练过头或初始化有问题。
检查SAS的规模：MMD的无偏估计要求n和m都不能太小。我们设定的底线是：SAS样本数n ≥ 500，每个batch的生成样本数m ≥ 32。如果m=8，那MMD loss的方差会大到无法收敛。
检查sigma的值：打印出你计算出的sigma。如果它小于0.3或大于3.0，说明你的验证集可能有异常样本（如全是极短的句子或全是超长的段落），需要清洗。

踩过的坑：我们曾在一个项目中，因为SAS里混入了10个格式错误的JSON字符串（它们被模型编码后产生了巨大的、异常的向量），导致计算出的sigma高达4.8。结果整个训练过程MMD loss纹丝不动。花了两天时间，才用t-SNE可视化把这10个“ outlier”揪出来。

5.3 “MMD让模型变慢了，怎么加速？”——工程级优化技巧

MMD计算本身不重，重的是在多个时间步上反复做前向传播。我们的优化方案是“空间换时间”：

预计算SAS表征：SAS是固定的，所以我们在训练开始前，就用基座模型一次性将所有SAS样本的表征向量（第7层[CLS]）计算好，并保存为.npy文件。训练时，直接加载这个文件，避免了重复编码。
混合精度与梯度检查点：在计算MMD loss时，我们启用torch.cuda.amp.autocast(dtype=torch.float16)，并将k(u,v)的计算放在autocast上下文中。同时，对hook层启用torch.utils.checkpoint.checkpoint，牺牲一点计算时间，换取显存的大幅释放，从而允许更大的batch size。
MMD Loss的近似计算：对于超大规模的SAS（>10,000样本），我们采用Nyström method进行近似。核心思想是：随机采样SAS的一个子集（如1000个样本）作为“landmark points”，然后用这些landmark来近似整个核矩阵。实测表明，用1000个landmark，对10,000样本SAS的MMD估计误差小于1.2%，但计算速度提升了8倍。

5.4 “除了MMD，还有没有其他表征空间的度量方法？”——我们的横向对比结论

我们系统性地对比了5种主流的表征空间度量方法，结果如下表。结论很明确：MMD在稳定性、可微性、与下游任务的相关性这三项核心指标上，全面胜出。

方法	稳定性 (Stability)	可微性 (Differentiability)	与人工评估相关性 (r)	计算开销
Maximum Mean Discrepancy (MMD)	★★★★★	★★★★★	0.87	中
Fréchet Distance (FID)	★★★★☆	★★☆☆☆ (需SVD)	0.79	高
Kernel Two-Sample Test	★★★★☆	★☆☆☆☆ (非可微)	0.72	中
Cosine Similarity (Avg)	★★☆☆☆	★★★★★	0.65	低
Wasserstein Distance (Sinkhorn)	★★★☆☆	★★★★☆	0.76	极高

个人体会：Wasserstein距离理论上很美，但在实际的大batch、高维表征场景下，Sinkhorn迭代的收敛性极差，经常需要上百次迭代才能得到一个勉强可用的估计，这在训练循环中是不可接受的。MMD的“简单粗暴”，反而是它在工程落地中最大的优势。它不追求理论上的绝对最优，而是追求在有限资源下，最可靠、最可预期的收益。