AgentCausal：面向大模型智能体的反事实因果调试评测基准

AgentCausal：面向大模型智能体的反事实因果调试评测基准

原文网页：https://arxiv.org/html/2610.13886v1
PDF链接：https://arxiv.org/pdf/2610.13886v1
arXiv编号：arXiv:2610.13886v1

摘要
大模型智能体执行失败时，调试器需要回答因果问题：如果修改某一步动作，最终任务结果是否会发生改变？。现有智能体评测基准大多关注任务成功率，缺少针对因果调试能力的标准化评测。本文提出AgentCausal反事实因果调试评测基准，专门用于评估智能体调试工具的因果推理能力。
数据集包含282条真实智能体失败轨迹，覆盖单智能体与多智能体场景；每条样例配套多组经过验证的反事实查询、真值标签。任务分为两大类型：①反事实结果预测；②根因定位。本文对6种主流调试方案开展系统评测：直接大模型读日志、向量检索过滤、执行DAG回溯、反事实仿真调试器、LLM‑based因果分析、人工专家。
实验表明，现有自动化调试工具在因果问题上存在明显短板：反事实预测F1最高仅70.4%，根因定位F1最高74.1%，距离人类专家91.6%的性能仍存在很大差距。消融实验发现：即便提供真实反事实输出作为提示，工具仍然会产生大量错误，说明智能体调试的难点不只是信息检索，还包含复杂的因果传播推理。AgentCausal全部数据集、评测脚本开源，为后续因果感知智能体调试工具提供统一测试床。

关键词
智能体调试；反事实推理；因果评测基准；根因定位；大模型智能体；故障诊断

目录

1. 引言
2. 相关工作
3. AgentCausal数据集构建
   • 3.1 数据来源
   • 3.2 反事实查询与真值标注流水线
   • 3.3 数据集统计与任务定义
4. 实验设置
   • 4.1 被测调试方法
   • 4.2 评测指标
5. 实验结果
   • 5.1 主实验整体性能
   • 5.2 不同故障类别细分结果
   • 5.3 消融实验
6. 讨论与局限性