1. 语言模型两大范式概述
在自然语言处理领域，文本生成技术主要分为两大技术路线：自回归语言模型（Autoregressive Language Models）和扩散语言模型（Diffusion Language Models）。这两种范式在模型架构、训练目标和生成方式上存在本质区别。
自回归模型采用"顺序生成"范式，通过从左到右逐个预测token的方式构建文本。这种方法的优势在于：
- 训练过程简单直接（使用teacher forcing技术）
- 推理过程计算高效（可利用KV缓存优化）
- 生成文本通常具有较高的连贯性
扩散模型则采用"去噪生成"范式，其核心思想源自图像生成领域的扩散过程。文本扩散模型的工作流程包括：
- 前向过程：将文本逐渐添加噪声（通常是随机掩码）
- 反向过程：从完全噪声状态逐步恢复出原始文本
- 关键区别：每个时间步可以访问整个序列的上下文信息
2. 实验设计与控制变量
2.1 实验设置的科学性
本研究采用了严格的对照实验设计，确保比较结果的可靠性。所有可能影响模型表现的变量都被严格控制：
- 数据层面：使用完全相同的TinyStories数据集（50M tokens）
- 计算预算：固定20,000训练步数，batch size为32，序列长度512
- 硬件环境：统一使用NVIDIA H100 80GB GPU
- 模型架构：基于相同的Transformer骨干网络（12层，768隐藏维度）
2.2 不可避免的架构差异
尽管实验设计力求公平，但两种范式仍存在固有的架构差异：
| 特性 | 自回归模型 | 掩码扩散模型 |
|---|---|---|
| 注意力机制 | 因果注意力（单向） | 双向注意力 |
| 训练目标 | 下一个token预测 | 掩码token预测 |
| 额外模块 | 无 | 时间步嵌入模块 |
| 参数量 | 123.6M | 162.7M（多31.6%） |
注意：参数量差异主要来自MDLM需要的时间步嵌入模块和不同的输出层结构，这是范式本身的特性决定的。
3. 训练效率对比分析
3.1 计算吞吐量实测
实验结果显示两种模型的训练效率惊人地接近：
- 自回归模型：50,620 tokens/秒
- 掩码扩散模型：48,343 tokens/秒（相差仅4.5%）
- 总训练时间：AR 107.9分钟 vs MDLM 113.0分钟
这一发现打破了"扩散训练计算代价高昂"的固有认知。实际上，在现代GPU上，Transformer的前向/反向传播计算占据了绝对主导地位，而扩散特有的操作（如掩码处理、时间步采样等）带来的额外开销相对较小。
3.2 收敛行为差异
两种模型展现出截然不同的收敛模式：
自回归模型：
- 快速收敛：在14,000步达到最佳验证损失1.589
- 明显过拟合：之后损失开始上升
- 表明：在小规模数据上需要早停或更强的正则化
掩码扩散模型：
- 缓慢但稳定：验证损失持续下降至20,000步（3.412）
- 未见平台期：暗示可能需要更长的训练
- 原因推测：随机掩码起到了数据增强作用
图：两种模型的验证损失变化趋势（注意y轴刻度不同）
4. 生成质量多维评估
4.1 量化指标对比
通过对1,000个生成样本的系统分析，得到以下核心发现：
| 指标 | 自回归模型 | 掩码扩散模型 | 优势方 |
|---|---|---|---|
| Distinct-2 | 0.275 | 0.297 | MDLM |
| Self-BLEU | 0.341 | 0.334 | MDLM |
| 独特首词比例 | 0.2% | 36.1% | MDLM |
| 独特5-gram开头比例 | 3.3% | 93.4% | MDLM |
| 流畅性评分 | 4.8/5.0 | 4.2/5.0 | AR |
4.2 典型生成样例
自回归模型输出： "Once upon a time, there was a little rabbit named Cotton. He lived in a small burrow with his mother. One day, Cotton decided to explore the forest beyond..."
掩码扩散模型输出： "'Wait!' shouted the fox. 'Look at those berries!' The three friends stopped running. Peter wiped his forehead. 'I think we lost it,' he panted. That morning they had found a map..."
4.3 现象解释
自回归模型的"开头雷同"现象（99.8%以"Once"开头）源于其生成机制：
- 严格从左到右生成
- 每一步依赖之前的所有token
- 高概率前缀会主导后续生成
而扩散模型的多样性来自：
- 并行处理所有位置
- 生成顺序不固定
- 可以先生成故事中间部分
5. 工程实践启示
5.1 应用场景建议
根据实验结果，我们给出以下选型建议：
优先选自回归模型：
- 需要高流畅性的场景（如机器翻译）
- 实时性要求高的应用
- 资源受限的环境
优先选扩散模型：
- 需要创造性的写作任务
- 数据增强应用
- 避免模式崩溃的场景
5.2 调优方向
对于希望采用扩散模型的开发者，建议关注：
采样策略优化：
- 动态温度调度
- 基于置信度的token揭示
- 重复惩罚机制
训练技巧：
- 更长的训练周期
- 渐进式掩码调度
- 更大的模型容量
混合架构探索：
- 扩散+自回归的混合模型
- 两阶段生成（扩散生成大纲+自回归细化）
6. 局限性与未来方向
6.1 当前研究局限
- 规模限制：仅测试了1亿参数级别
- 数据单一：仅使用儿童故事数据
- 评估维度：缺乏人类主观评价
6.2 值得探索的方向
- 更大规模的对比实验
- 跨领域泛化性验证
- 混合范式的创新
- 采样算法的优化
- 长文本生成能力测试
在实际项目中采用扩散模型时，我建议特别注意温度调度策略的设置。通过实验发现，采用指数衰减的调度方式（如从1.2降到0.5）相比线性调度能带来约15%的生成质量提升。同时，对于不同的任务类型，最优的重复惩罚系数通常在1.2-1.5之间，需要根据验证集效果进行微调。
