# FlowBalance 论文阅读笔记
> 论文信息：FlowBalance: Verifier‑Grounded Self‑Improvement from On‑Policy Reasoning Experience，arXiv:2609.03241
## 一、文章主要内容总结
该论文面向大模型推理任务的**自提升（self‑improvement）**问题，针对现有自提升训练循环的两大痛点：
1. 验证器（verifier）仅能提供稀疏的终端监督信号；
2. 模型自身生成的稠密自引导信号容易强化模型错误自信，收敛到狭窄的求解模式，造成自确认（self‑confirmation）问题。
本文提出 **FlowBalance**，一套基于验证器约束、结合模型在线策略（on‑policy）推理轨迹的分布式自提升框架。
- 利用冻结的后见视角（privileged‑hindsight）模型生成token级对数概率增益，聚合得到整条轨迹的自引导分数；
- 使用验证器得到分组优势（group advantage）对自引导分数做符号门控：正优势轨迹保留引导信号，负优势轨迹反转引导信号，无偏好时直接禁用稠密引导；
- 通过**带剖面的轨迹平衡（profiled trajectory balance）**去拟合归一化的目标分布，不需要额外独立的token级模仿损失。
理论层面证明该方法具备组内对比保留、最小反向KL偏移、验证器对目标奖励单调可控、对错误阳性自引导做校正等性质。
实验基于Qwen3‑4B、Qwen3‑8B模型，在数学推理任务（AIME24、HMMT25、MATH500、OlympiadBench等）上对比GRPO、OPSD、RLSD、FlowRL基线。FlowBa
)
