【arXiv 2026】Dream-RSI：把发现历史变成可回放世界，让智能体在历史里「做梦」｜从递归自我改进视角

## 摘要 同一道算法题，Dream-RSI 只花 317 次模型调用就跑出了更快的解，而固定策略要花 550 次。这篇 arXiv 2026 的论文叫 Dream-RSI: Recursive Self-Improvement through Evolving Worlds，它做的事可以用一句话说清：把智能体做科学发现时留下的历史记录，从一段拿来当提示词的文本，改造成一台可以反复回放的模拟器。 智能体于是能在这台模拟器里"做梦"，廉价地试掉大量不同的探索策略，再把最好的一版放回线上。在四个领域的九个任务上，它用更少的发现算力拿到了相当或更好的结果。 **视频讲解**：[点击观看 B 站视频](https://www.bilibili.com/video/BV1BgJh6vEdE) 章节时间轴（视频内可跳转）： ``` 00:43 作者介绍 01:16 研究背景与动机 02:58 相关工作 03:41 方法 04:53 实验设计 05:38 实验结果 07:59 局限性 08:41 要点总结 09:14 参考文献 ``` [TOC] ## 论文基本信息 | 项目 | 内容 | |---|---| | 标题（英文） | Dream-RSI: Recursive Self-Improvement through Evolving Worlds | | 标题（中文） | Dream-RSI：把发现历史变成可回放世界，让智能体在历史里「做梦」 | | 作者 | Tong Zheng, Xidong Wu, Zheng Zhang, Zhankui He, Chaoyi Zhang, Benjamin Coleman, Ruoqiao Wei, Di Bai, Haolin Liu, Rui Liu, Xue Wang, Yue Zhuan, Wang-Cheng Kang, Renkai Xiang, Heng Huang, Xinwu Cheng, Yunsong Guo | | 机构 | Google · Google DeepMind · University of Maryland, College Park · University of Virginia | | 会议 | arXiv 2026（预印本） | | arXiv | [2609.14858](https://arxiv.org/abs/2609.14858) | | 项目网站 | [dream-rsi.com](https://dream-rsi.com/) · 代码 [github.com/zhengkid/Dream-RSI](https://github.com/zhengkid/Dream-RSI) | ## 背景与动机：自我改进里最贵的一环 近两年的自我改进系统，大都在跑同一个循环：让模型生成候选解，用评测器打分，再把反馈喂回下一轮。AlphaEvolve、OpenEvolve、ShinkaEvolve、PACEvolve、MLEvolve 都属于这一类。 问题出在更上层。**探索策略**决定了每一轮把算力花在哪里——先搜哪条分支、几条并行、什么时候停。这条策略多数时候是人手写死的一个启发式，从头用到尾，不随搜索空间变大而调整。 有人试过在线优化这条策略，比如 EvoX。但这条路撞上两堵墙。第一堵是反馈延迟又昂贵：要评价一条探索策略好不好，你得看它在几十上百轮"生成—评测"里把探索带到了哪里。第二堵是空间太大：值得一试的策略版本非常多，一个一个在线跑不现实。 论文里有个很好的类比。想象一个智能体第一次进入陌生环境，它乱走、撞墙、折返，但顺手画出了一张地图。这张地图可以复用：后来的策略能在地图上规划，跳过已知的死路，比较不同路线，而不用再亲自走一遍。 模型强化学习早就用这个思路，Dyna 与世界模型在九十年代就确立了"先学一个模型、再在模型里想象"的范式，Dreamer 系列把它做成了可扩展的隐空间方法。这篇论文的迁移在于：**一次已完成的智能体发现过程，本身就是一张这样的地图**。它是一棵结构化的决策树，每个节点记着当时的工作区和真实执行结果。 过去的工作更多是拿历史当上下文或记忆，比如 ReasoningBank 与 DeltaEvolve，或者拿它当微调数据，比如 ThetaEvolve。这篇论文问的是另一个问题：历史能构成什么样的**环境**。 ## 研究主线：从问题到结论  **图 9：Dream-RSI 的研究主线（Mermaid 流程图）——问题、动机、设计、方法、实验到结论。** ## 设计：把历史变成一台可回放的模拟器 在线探索阶段，当前的探索策略指挥一个固定的底层 agent 去扩展一棵**发现树**。每个非根节点只有一个主父节点，它继承父节点保存的工作区与累积观测，生成一次新尝试，再由固定评测器打一个分。分数越大越好，根节点记 0 分。 关键是那个**共享决策接口**。策略每一轮看到的只有当前这棵树，它要选出一批节点继续探索，这一批最多 W 个。也就是说，一次决策同时决定了两件事：往哪条分支上继续，以及这一轮并行几个。 在线阶段，这批节点真的会被执行。离线阶段，同一个接口被拿去在冻结的历史树上走，选中的节点直接返回**当时记录下来的子节点**，不重新生成、不重新评测。状态转移一个是真实的，一个是回放的，其余完全一样。 这一个设计换来的东西很值：一次昂贵的在线运行，可以支撑成千上万次零执行成本的策略评估。下图是整体框架，三个框分别是在线探索、模拟器构建与做梦式策略改进。  **图 1：Dream-RSI 总览。① 在线探索中当前策略驱动底层 agent 扩展发现树并记录执行轨迹；② 发现树被蒸馏为可复用的回放模拟器池；③ 同一个 agent 在模拟器里"做梦"，生成并回放大量候选策略，用快速低成本反馈选出更好的一版，再部署回下一轮。** ## 任务全景：四个领域、九个任务  **图 10：Dream-RSI 的任务全景（Mermaid 分类图）——九个任务分布在算法工程、GPU 内核工程、数学优化与 Harness 优化四个领域。** ## 方法细节：一次决策同时决定去哪和并发多少 策略改进的裁判是一个**回放目标**。它对每个预算偏好档位扫出一条曲线：横轴是这次回放实际揭示的节点数，也就是发现 agent 的调用数；纵轴是揭示节点里最好的分数，按该世界的历史最好分数归一化。 然后取这些点的**非支配前沿**，算它的归一化超体积——奖励"用更少调用拿到更高质量"。再加一项**并行度惩罚**，一项是每次调用平均占用的串行轮数——奖励"把调用摊到并行上"。两项用一个系数 $\lambda$ 配比。 预算偏好 $\rho$ 取 0、0.25、0.5、0.75、1 五档。一次回放就能给出整条质量—成本曲线，不必为每个预算单独做一轮昂贵的在线实验。 每个离线阶段评估 M=4 个候选策略，其中第 0 个就是当前策略本身。一个**策略开发 agent** 读完回放轨迹和分数，找出哪些决策成功、哪些反复失败，然后改写策略代码，生成下一个候选。所有候选在**同一个历史世界池**上评估。 最后是选择：新一轮在线用的策略取平均回放分数最高的那个候选。因为当前策略本身总在候选集合里，所以有一个简单的保证——新的平均回放分数 $V^{m^\star} \ge V^0$，永远不会比旧策略差。真实世界的发现分不会因此下降，它只是不再被浪费。 历史世界池会随轮次不断扩张。下面这张图把"历史即模拟器"讲得更直白：每个节点是一次尝试加它的完整观测，候选策略要做的只是在这棵树上走一条不同的路。  **图 2：发现历史即回放模拟器。一次在线探索把轨迹记录成发现树，这棵树随后成为模拟器；由于每个节点的结果已存好，一次昂贵的在线运行就能换来大量快速、低成本的 off-policy 评估。** 主要超参在这里： | 任务 | 发现模型 | T（在线轮数） | W（最大并发） | B（每轮调用上限） | |---|---|---|---|---| | Lasso | Gemini-3.1-Pro | 5 | 10 | 110 | | Lasso | Gemini-3.7-Flash | 5 | 32 | 640 | | KernelBench（4 任务） | Gemini-3.1-Pro | 9 | 10 | 110 | | 数学优化（3 任务） | Gemini-3.1-Pro | 10 | 10 | 110 | | Harness 优化 | Claude Opus 4.8 | 9 | 4 | 16 | 注意 B 只是上限。实际用掉多少次调用，取决于策略自己怎么分配、什么时候停——而这正是被优化的对象。 ## 实验设计与结果：同等质量，更少算力 对照实验的设计很干净。主基线叫 Recursive Fixed Exploration，它与本文用**同一个发现 agent、同一个评测器、同一个初始化、同样的每轮预算，以及同一个起点策略**。唯一的差别是：从第二轮开始，它的策略固定不动，而 Dream-RSI 每轮都用回放更新并重新部署策略。 这样一对比，效率差异就只能归因到策略更新本身，而不是换了个更强的模型或更多的算力。 ### 算法工程：Lasso 正则化路径 任务是在保证数值正确的前提下，找出求解完整 Lasso 正则化路径更快的实现。它沿用 SimpleTES 的基准设定，用 17 个合成实例做发现，另加 6 个留出的真实数据集做下游评测。 | 方法 | 骨干 | Compute（调用数） | 平均耗时 (ms) | 相对 | |---|---|---|---|---| | SimpleTES | gpt-oss-120b | 51,200 | 3804.8 | 少 162× | | Recursive Fixed Exploration | Gemini-3.1-Pro | 550 | 3587.1 | 1.00× | | **Dream-RSI** | Gemini-3.1-Pro | **317** | **2931.0** | **1.22×** | | Recursive Fixed Exploration | Gemini-3.7-Flash | 3200 | 2516.7 | 1.00× | | **Dream-RSI** | Gemini-3.7-Flash | **1879** | **2350.6** | 1.07× | | sklearn | -- | -- | 44180.3 | -- | | glmnet | -- | -- | 13767.5 | -- | Gemini-3.1-Pro 骨干下，调用数从 550 降到 317，六个留出数据集上的平均耗时从 3587.1 毫秒降到 2931.0 毫秒。换成 Gemini-3.7-Flash，调用数从 3200 降到 1879，平均耗时从 2516.7 降到 2350.6 毫秒。两种骨干都明显快过 sklearn 与 glmnet。 相对 SimpleTES 报告的 51,200 代，这两个配置分别少用约 162 倍和 27 倍的发现 agent 调用。论文自己也标注了：这几个数字的模型骨干不同，只能作参考。  **图 4：Lasso 正则化路径发现。(a) 六个留出任务的最终耗时（越低越好），Compute 为累计发现 agent 调用数；(b) 平均耗时随累计发现算力的递归动态，标记旁数字为轮次。** ### GPU 内核工程：同样快，少走几代 四个 KernelBench 任务——VGG16、LayerNorm、ConvDiv、ConvMax——的指标是运行时间的倒数，也就是 $1/\mathrm{ms}$，越高越快，而且必须先通过对照参考实现的数值正确性检查。 | 任务 | 对比口径 | 结果 | |---|---|---| | VGG16 | 达到相当最终性能所需代数 | 少用 2.43× | | LayerNorm | 达到相当最终性能所需代数 | 少用 1.79× | | ConvDiv | 同等发现预算下的性能 | 高 2.09× | | ConvMax | 同等发现预算下的性能 | 高 1.44× | 同预算下，Dream-RSI 在两个任务上的性能也高于 PACEvolve，后者是一条很强的演化式基线，论文把它的最大发现时间限制在两天以保证公平。  **图 3：GPU 内核工程结果。VGG16 与 LayerNorm 以少 2.43× / 1.79× 的代达到相当性能；ConvDiv 与 ConvMax 在同预算下高 2.09× / 1.44×。**  **图 8：PACEvolve 在四个 KernelBench 任务上、48 小时墙钟预算内的历史最优核性能演化（性能记为 $1/\mathrm{ms}$，越高越快）。** ### 数学优化：三条经典开放问题 三个任务分别是最小化两个和差比的和差问题、最大化半径之和的圆堆积，以及三条自相关不等式。目标方向各不相同，和差与圆堆积越大越好，自相关越小越好。 | 方法 | 骨干 | Sum–Difference ↑ | Autocorrelation ↓ | Circle Packing ↑ | |---|---|---|---|---| | AlphaEvolveV2 | Gemini-2.0 Pro + Flash | 1.121936 | -- | 2.635983 | | EvoX | Gemini-3.0-Pro | -- | 1.458900 | 2.635900 | | SimpleTES | GPT-OSS-120B | 1.143975 | **1.453675** | 2.635983 | | Recursive Fixed Exploration | Gemini-3.1-Pro | 1.144047 | 1.456001 | 2.635983 | | **Dream-RSI** | Gemini-3.1-Pro | **1.145427** | 1.456375 | 2.635983 | Dream-RSI 的和差分 1.145427 优于 SimpleTES 的 1.143975。圆堆积的 2.635983 与已报道的最强结果持平。自相关的 1.456375 保持竞争力，但最好成绩仍在 SimpleTES 手里。 ### Harness 优化：只改程序外壳，不改模型 这个任务的目标是改进模型外面的那层程序：信息怎么存、怎么取、怎么在 agent 执行时呈现。起点是 Terminus-Kira 这个种子 harness。每个候选 harness 都要在 Terminal-Bench 2.1 的全部 89 个任务上跑，每个任务两次。  **图 5：Harness 优化结果。(a) Terminal-Bench 2.1 历史最优分数从种子 harness 的 0.7247 提升到 0.8090；(b) 与 Claude Code（CC）、Terminus-Kira（TK）、Meta-Harness（MH）的全套对比。** ### 三个追问：历史要不要累积、该怎么用、策略怎么变 论文做了三组进一步分析。第一组问历史要不要累积。在 ConvDiv 上用**全部历史**做回放，性能是 1.90；只用**当前轮**那棵树，掉到 1.59。也就是说，累积的回放世界能让策略更泛化，避免只拟合单一世界而变得过度保守。 第二组问历史该怎么用。把历史抽象成高层方向性提示、直接塞进 prompt，对两种方法的最终性能都更低。同一条历史，当作可以直接回放的环境有效，压缩成一句方向建议反而有害。 第三组看策略自己怎么变。在 ConvDiv 上，性能上升时策略先省算力，评估尝试数从 110 降到 50；进展停滞之后它又加大探索，随后性能继续上涨。  **图 6：ConvDiv 上的发现结果。把历史回放比把历史当引导更好——显式方向性引导对两种方法的最终性能都更低。**  **图 7：ConvDiv 上探索行为的演化。(a) 各递归轮次的最好性能；(b) 各轮次实际评估的尝试数——策略先收缩算力、在停滞后再扩张。** ## 结果对比：四个领域的方向一致  **图 11：四个领域的结果对比总结（Mermaid 流程图）——每单位算力换到的发现质量更高。** ## 关键发现 - Lasso 上，Gemini-3.1-Pro 配置用 317 次调用把平均耗时压到 2931.0 毫秒，固定策略用 550 次才到 3587.1 毫秒；换 Flash 骨干仍是 1879 对 3200 次调用、2350.6 对 2516.7 毫秒。 - 内核任务上，VGG16 与 LayerNorm 分别少用 2.43× 与 1.79× 的代就达到相当性能，ConvDiv 与 ConvMax 在同预算下高出 2.09× 与 1.44×。 - 历史累积不是可选项：ConvDiv 上用全部历史得 1.90，只用当前轮掉到 1.59。 - 用法的差别很关键：同一段历史，回放有效，压成方向性提示反而让两种方法的最终性能都更低。 - Harness 优化在全套 89 个任务、每个两次的评测下，把分数从 0.7247 推到 0.8090，同设定下高于 Claude Code 的 0.75 与 Meta-Harness 的 0.79。 - 这篇论文的贡献能被隔离测量：受控基线只在"策略是否更新"这一点上与它不同，其余全同；回放目标又是可以在既有记录上离线复算的。这种设计让它省下了大量算力，也让结论更容易被复核。 ## 局限性 - 回放只能在已经记录的节点之间导航。历史里从未出现过的分支，永远探不到。模拟器的质量上限，就是那一轮在线探索实际覆盖的范围。 - 历史越多，回放评估越贵。论文没有给出"随轮数增长的收益—成本结算"，只有"用当前轮会掉点"这一条消融。 - 受控基线只有一个 Recursive Fixed Exploration。与 SimpleTES、PACEvolve 的比较要么骨干不同、要么评测设定不同，只能当作参考。 - 复现门槛不低。主结果依赖 Gemini-3.1-Pro 与 Claude Opus 4.8 级别的底座，还需要 L40S、KVM 与 Docker 集群这样的真实执行环境。 - 另外，论文源码还留着一些工程痕迹：主文件里有三个被注释掉的备选标题、用于边注的彩色编号宏与一个空日期，`listings`、`xcolor`、`pgfplots` 也各被重复加载了一次。摘要把结论写成"在若干设定下提升效率"，比正文里 162 倍的强结论保守不少。 ## 常见问题（FAQ） ### 我要复现，大概需要多少算力？ 这是本文最贵的地方。它不是在单张卡上跑一个训练脚本，而是让一个强模型反复生成代码、执行、评测。单次在线探索的规模在几十到几百次 agent 调用之间，Lasso 的 Flash 配置把上限设到 640 次。真正的门槛不是显卡，而是可用的 agent 底座和一套能跑代码评测的隔离环境。论文里的评测环境是 AMD EPYC 7B12 的 8 核 32 GB 虚拟机、一块 NVIDIA L40S，以及一台 96 物理核、708 GiB 内存的 Docker 宿主。 ### 它和 EvoX 这类"优化搜索策略"的工作差在哪？ EvoX 已经把搜索策略本身当作优化对象，这一点是共同的。差别在反馈从哪来。EvoX 类方法仍要靠在线的长程 rollout 才知道一条策略好不好，而 Dream-RSI 把历史树冻结成模拟器，用回放代替 rollout。省下的正是元层最贵的那部分开销。 ### 它和 World Models 有什么关系？ 关系是方法学上的类比。世界模型从真实交互里学一个动力学模型，再在模型里想象着改进策略。Dream-RSI 不做学习，它直接把已经跑过的发现历史当成环境，因为在代码发现这种场景里，每个节点的执行结果本来就被完整记录了下来。它更像一台确定性的回放机，而不是一个预测模型。 ### 为什么把历史压成提示词反而更差？ 因为提示词是单向的信息压缩。历史里的分支结构、并发安排、停在哪里，这些都被压成一句方向性建议后就丢了。策略拿不到它做决策真正需要的那部分状态，探索反而被这句建议限制住。回放保留的是完整结构。 ### 这个思路能用到别的自我改进层吗? 作者把这条路留给了后续工作。论文里的做法是编排层可编程、底层 agent 不动，所以理论上可以接到技能、harness 甚至环境层。前提是那一层同样能留下结构化的、带真实结果的历史记录。 ## 参考链接 - 论文：[arXiv:2609.14858 Dream-RSI: Recursive Self-Improvement through Evolving Worlds](https://arxiv.org/abs/2609.14858) - 项目网站：[dream-rsi.com](https://dream-rsi.com/) - 代码：[github.com/zhengkid/Dream-RSI](https://github.com/zhengkid/Dream-RSI) - 关键基线：[EvoX](https://arxiv.org/abs/2609.14858)、[SimpleTES](https://arxiv.org/abs/2609.14858)、[PACEvolve](https://arxiv.org/abs/2609.14858) - 方法学来源：[DreamerV3（Nature 2025）](https://www.nature.com/articles/s41586-025-08744-2) --- > 给大家推荐一款自用写文献综述、无虚构文献的 AI： > > 🌟 **复旦大学 FudanNLP 团队自研 [切问学术](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi)** > > 官网：[qiewenpaper.com](https://qiewenpaper.com/zh?utm_source=bzkol&utm_content=baishi) > > 覆盖 **3.6 亿篇**可溯源真实中英文文献，能自动整合文献观点生成规范综述 > > 还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作 --- > **🍀后记🍀** > > 博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。 > > **🌸讨论QQ群**：[白拾的小屋](https://qun.qq.com/universal-share/share?ac=1&authKey=Suzrb5NKb9KulvZxFC8EMFvcd6jgVp%2B%2BnTG8h351HWQorXVfvI1n5QwEX5dlJyTh&busi_data=eyJncm91cENvZGUiOiI3NTAzNjU3MDAiLCJ0b2tlbiI6IlpFL2xLaGYxdXU4cWJPT2dJTkY3aExnWHNaQ1UrL3NJbWprenhLZitWUHVVNmhIR1M5SkZrS09SWmxKNlRreksiLCJ1aW4iOiIyMjc1OTYwNDg2In0%3D&data=hgymRnqgtjQPGoBKhZ8cEyznp0CMLWfCbG4rfiWIADCArVXw50a7c-Q4MWU2Eq3dwOUjG19hamAWQQU4lY-cOQ&svctype=4&tempid=h5_group_info) (750365700) > > **⭐B站账号**：[白拾的物理AI组会](https://space.bilibili.com/98639326)（活跃于知识区和动画区） > > **✨GitHub主页**：[YhbCode000](https://github.com/yhbcode000)（工程文件）