半自回归（Semi-Autoregressive）详解
1. 什么是半自回归？
半自回归（Semi-Autoregressive, SAR）是一种介于自回归（AR）和非自回归（NAR）之间的生成策略。它在全局保持自回归的逐步生成方式，但在局部并行生成多个词，旨在平衡生成质量和推理速度。
生活类比：就像写文章时不是逐字写，也不是整篇一起写，而是一句一句地写。写完一句（并行生成该句中的所有字），再写下一句。这样既保持了句间的逻辑连贯，又提高了写作效率。
2. 为什么需要半自回归？
2.1 自回归的痛点
优点：生成质量高，上下文连贯
缺点：推理速度慢（必须串行生成，每一步只能生成一个词）
2.2 非自回归的痛点
优点：推理速度快（一次并行生成所有词）
缺点：生成质量低（词间依赖被忽略，容易出现不连贯）
2.3 半自回归的定位
自回归(AR) → 半自回归(SAR) → 非自回归(NAR) 高质量 平衡点 高速度 慢速度 质量+速度兼顾 低质量
3. 半自回归的核心思想
3.1 基本策略
将生成过程分解为两个层次：
全局层次（自回归）：逐块生成，保持宏观逻辑
局部层次（非自回归）：块内并行生成，提高效率
3.2 数学表达
P(Y) = P(Y₁) × P(Y₂|Y₁) × P(Y₃|Y₁,Y₂) × ... 其中每个 Yᵢ = [yᵢ₁, yᵢ₂, ..., yᵢₖ] 是一个词块（并行生成）
4. 半自回归的实现方式
4.1 两种主流架构
| 架构类型 | 工作原理 | 典型应用 |
|---|---|---|
| 块级自回归 | 将序列分成固定大小的块，逐块生成，块内并行 | 图像字幕 |
| 迭代精炼 | 先生成粗略序列，再迭代优化 | 时间序列预测 |
4.2 工作流程示例（以图像字幕为例）
目标句子: "一只黑猫在草地上追逐蝴蝶" # 自回归（AR）- 逐字生成 第1步: 一 第2步: 一只 第3步: 一只黑 ... 共12步 # 非自回归（NAR）- 一次生成 第1步: 一只黑猫在草地上追逐蝴蝶（可能语法错误） # 半自回归（SAR）- 逐短语生成 第1块: 一只黑猫 ← 并行生成 第2块: 在草地上 ← 基于第1块生成 第3块: 追逐蝴蝶 ← 基于前2块生成5. 半自回归的优势与挑战
| 维度 | 优势 | 挑战 |
|---|---|---|
| 生成质量 | 优于非自回归，接近自回归 | 块内依赖建模仍有难度 |
| 推理速度 | 快于自回归（块内并行） | 慢于非自回归 |
| 灵活性 | 可调节块大小平衡质量速度 | 块大小需要调优 |
| 实现复杂度 | 相对简单（基于Transformer） | 需要设计块划分策略 |
7. 实际应用案例
7.1 图像字幕生成（SATIC）
输入: 图片（一只猫在追蝴蝶） 解码策略: 半自回归 - 全局: 自回归方式逐短语生成 - 局部: 每个短语内并行生成词 效果: - 速度: 比自回归快3-5倍 - 质量: 接近自回归水平（BLEU分数仅下降0.5）
7.2 时间序列预测（SMARTformer）
输入: 过去72小时气温数据 预测: 未来24小时气温 SAR解码器: 逐子序列生成，子序列内并行 效果: - 多变量预测提升10.2% - 单变量预测提升18.4% - 同时捕获全局趋势和局部波动
7.3 医学报告生成
输入: 胸部X光片 输出: 放射学报告（含大量模板句+少量异常描述） SAR策略: - 模板部分快速并行生成 - 异常描述部分精细自回归 效果: 平衡了报告生成的效率和准确性
8. 块大小的权衡
9. 半自回归的演进方向
| 方向 | 创新点 | 代表工作 |
|---|---|---|
| 动态块大小 | 根据内容自动调整块大小 | HEX模型 |
| 迭代精炼 | 先生成再优化 | 扩散+半自回归结合 |
| 两阶段生成 | 划分阶段不同生成策略 | GBT框架 |
| 可控生成 | 按用户指定短语类别生成 | BoFiCap |
10. 通俗理解总结
把半自回归想象成"组团旅游"：
自回归= 自由行：一步一个脚印，自由度高但慢（逐字生成）
非自回归= 全包团：一次性安排好所有行程，快但可能不满意（并行生成）
半自回归= 半自由行：每天一个目的地（块），到了目的地自由活动（块内并行），既保证了大方向正确，又提高了效率
三种模式的直观对比：
| 模式 | 写作类比 | 速度 | 质量 |
|---|---|---|---|
| 自回归 | 逐字推敲 | 慢 | 高 |
| 非自回归 | 一气呵成 | 快 | 可能跑题 |
| 半自回归 | 写完一句回头看 | 中等 | 接近高 |
关键洞察：半自回归的成功在于它认识到——语言既有长程依赖（需要自回归），也有局部独立性（可以并行）。通过合理划分"块"，让模型在该串行的地方串行，该并行的地方并行，实现了质量和速度的最优平衡。
