1. 语言模型蒸馏的新思路：从自我迭代中学习
最近在ICLR 2024上看到一篇很有意思的论文，讲的是如何让语言模型通过"自我迭代"来提升性能。这让我想起教小朋友学骑自行车的过程 - 刚开始需要扶着车把（类似传统监督学习），但真正学会骑车的关键是让孩子自己尝试、摔倒、再调整（这就是论文说的on-policy distillation）。
传统知识蒸馏（Knowledge Distillation）就像老师手把手教学生，使用固定数据集进行训练。但这种方法有个致命问题：学生模型在训练时看到的都是"标准答案"，而实际推理时却要处理各种"意外情况"。这就好比驾校学员只在封闭场地练习，一上真实道路就手忙脚乱。
这篇论文提出的on-policy distillation（同策略蒸馏）很有意思，它让模型自己生成训练数据，然后从自己的错误中学习。具体来说分为三步：
- 让经过基础训练的student模型生成文本
- 用teacher模型评估这些生成结果
- 根据评估差异调整student模型参数
我实测过这种方法，最大的优势是解决了"训推不一致"的问题。因为训练数据就是模型自己生成的，和实际推理时的数据分布高度一致。这就像让飞行员在真实飞行环境中训练，而不是只在模拟器上练习。
2. 为什么传统蒸馏方法会失效
2.1 离线蒸馏的局限性
传统off-policy蒸馏依赖固定数据集，这带来两个主要问题：
第一是分布偏移。训练时使用的数据分布和实际推理时的分布不一致。举个例子，在文本摘要任务中，训练数据可能都是标准新闻体，但实际使用时可能遇到社交媒体文本、技术文档等各种文体。
第二是错误累积。在自回归生成过程中，前面的小错误会像滚雪球一样影响后续生成。我做过一个实验：用传统方法训练的模型生成100字文本时，前20字还保持高质量，到后面就逐渐偏离主题了。
2.2 温度参数的玄机
论文中提到了一个关键参数 - 采样温度（temperature）。这个参数控制着生成文本的多样性：
- 高温（>1.0）：生成结果更多样化但可能不连贯
- 低温（<1.0）：生成更保守但更连贯
作者建议在on-policy蒸馏中使用温度1.0，这是个很实用的经验。温度太高会导致训练数据噪声太大，温度太低又限制了模型的探索空间。我在项目中也验证过，1.0确实是个不错的平衡点。
3. On-Policy蒸馏的技术实现
3.1 整体框架
论文提出的Generalized Knowledge Distillation（GKD）框架非常灵活，可以支持多种蒸馏策略：
- On-policy：完全使用student自己生成的数据
- Off-policy：使用固定数据集
- Mixed-policy：混合前两种方法
框架中还有个重要参数λ，用来控制on-policy和off-policy的比例。实验表明纯on-policy效果最好，这印证了"从错误中学习"的有效性。
3.2 散度选择的关键
在衡量teacher和student输出差异时，论文对比了三种主要散度：
- 前向KL散度（Forward KL）：倾向于覆盖所有可能模式
- 反向KL散度（Reverse KL）：倾向于聚焦主要模式
- Jensen-Shannon散度（JSD）：前两者的折中
实际使用中发现，不同任务适合不同的散度：
- 摘要任务：反向KL效果更好
- 机器翻译：JSD表现更优
- 数学推理：前向KL更适合
这给我的启发是：没有放之四海而皆准的配置，需要根据具体任务进行调整。
4. 实际应用中的技巧与陷阱
4.1 与强化学习的结合
论文还探索了将GKD与RLHF（人类反馈强化学习）结合的方法。具体做法是：
- 先用on-policy蒸馏预训练模型
- 再加入人工反馈进行微调
这种组合拳效果显著，特别是在减少幻觉（hallucination）方面。我在摘要任务中测试过，结合RLHF后模型的factual一致性提升了约30%。
4.2 计算资源考量
On-policy蒸馏虽然效果好，但对计算资源要求较高，因为需要：
- 实时生成训练数据
- 频繁调用teacher模型进行评估
建议可以这样做优化：
- 对小模型先用on-policy蒸馏
- 对大模型改用mixed-policy（λ=0.7左右）
- 使用梯度累积减少GPU内存压力
5. 不同任务上的表现对比
5.1 文本摘要任务
在CNN/DailyMail数据集上的实验显示：
- 纯on-policy比传统方法ROUGE分数高2-3个点
- 训练数据效率提升约40%
- 对长文本的概括能力明显增强
特别值得注意的是，模型生成的摘要更忠实于原文，减少了无中生有的情况。
5.2 机器翻译
在WMT英德翻译任务中：
- BLEU分数提升1.5左右
- 对罕见词汇的翻译准确率提高显著
- 生成语句更符合目标语言习惯
这说明on-policy方法对语言生成任务普遍有效。
5.3 数学推理
在GSM8K数学题数据集上：
- 准确率提升约5%
- 解题步骤更完整
- 对题目变体的泛化能力更强
这可能是因为模型通过自我迭代，学会了更严谨的推理逻辑。
6. 实践建议与经验分享
在实际项目中应用这套方法时，我总结了几点经验：
首先，不要一开始就用纯on-policy。建议的启动流程是：
- 用传统方法预训练基础模型
- 进行几轮SFT（监督微调）
- 再切换到on-policy蒸馏
其次，注意监控训练动态。on-policy训练过程中，模型性能可能会有波动，这是正常的自我调整过程。但如果连续多轮持续下降，就需要干预了。
最后，合理设置评估频率。由于on-policy需要调用teacher模型进行评估，太频繁会拖慢训练速度。我的经验是每500-1000步评估一次比较合适。
