> 说明：当前仅可获取论文**Abstract摘要**公开文本，无法直接抓取Introduction、Conclusion正文完整内容（arxiv网页摘要页只展示abstract，需要读取PDF全文才能拿到Intro与Conclusion，本次返回仅翻译可拿到的Abstract；同时基于摘要信息完成文章主要内容、创新点总结）。输出完整Markdown文件格式内容如下。
# ArenaFlow: From Trajectory Ranking to Hierarchical Credit Propagation for Open‑Ended Agent RL
> arXiv:2609.21378，2026‑09‑18
## 一、文章主要内容总结
针对**开放域智能体强化学习**问题：可验证任务上RL已经可以有效提升大语言模型智能体能力，但开放型智能体任务解空间多样，很难获得可靠标量奖励信号。
现有成对偏好评估方法，用相对偏好打分替代单点打分，缓解了奖励判别失效问题，但仍存在明显缺陷：将丰富的对比反馈压缩成单条轨迹级奖励，丢失关键中间步骤信息，无法把成功行为沉淀成可复用技能。
本文提出 **ArenaFlow**，一套面向开放环境Agent强化学习的**分层信用传播框架**：
1. 使用锦标赛式相对排序，得到轨迹层面奖励信号；
2. 每次对比配套结构化反思评估，输出三类监督信号：关键成功步骤、可复用策略技能、检索技能的使用归因；
3. **步骤层级**：依据锦标赛存活深度，把轨迹收益分配到高置信度关键步骤，针对性优化局部推理行为；
4. **技能层级**：基于分组使用归因估计技能效用，维护全局技能记忆库，做效用感知更新、剪枝、检索；高效用技能作为策略先验，辅助后
