本文系统解析了让大模型成为智能体的四大适应范式，包括基于工具执行结果(A1)、最终输出(A2)优化智能体，以及独立(T1)或受监督(T2)优化工具。通过对比各范式的训练成本、灵活性和适用场景，为开发者提供了从"能说"到"会做"的实用指南，帮助构建更高效、更可靠的AI智能体系统。
大模型爆发之后，「让模型动起手来」成为新战场——搜索、写代码、调 API、开网页，甚至自己发 PR。
但原生 LLM 并不会“动手”，于是出现「智能体 AI（Agentic AI）」：
Agent = LLM（大脑）+ 工具（手脚）+ 记忆（海马体）+ 规划（前额叶）
问题随之而来：
- 工具用不好 → 调用失败、幻觉频发
- 场景一换 → 性能断崖
- 长程任务 → 忘记初衷
作者: UIUC、斯坦福、普林斯顿、哈佛、UC Berkeley 等 30+ 学者联合出品（包括：韩家炜大佬：数据挖掘第一人）
解法只有一个：适应（Adaptation）。
另外，做好Agentic AI应用的基础，是高质量的结构化数据：[在OCR面前，大模型虽好，但恕我直言：开源小模型更香]
1️⃣ 一张图俯瞰全文：4 大适应范式
Figure-1 四范式总览
| 范式 | 优化谁 | 信号来源 | 典型招式 |
|---|---|---|---|
| A1 | 智能体 | 工具执行结果 | Toolformer → DeepSeek-R1 |
| A2 | 智能体 | 自己最终输出 | DeepSeek-R1 → Kimi-1.5 |
| T1 | 工具 | 与智能体无关 | 稠密检索器、HuggingGPT |
| T2 | 工具 | 智能体输出监督 | S3、AgentFlow、自适应记忆 |
一句话记忆：
A1/A2 改脑子，T1/T2 改外挂；A1/T1 不用管对方，A2/T2 互相看脸色。
论文的结构
时间线：关键论文速览
| 时期 | 代表工作 | 突破点 |
|---|---|---|
| 2023 Q1 | Toolformer | 首次用工具执行结果做自监督 |
| 2023 Q2 | Gorilla | AST 校验 API 调用格式 |
| 2024 Q2 | DeepRetrieval | RLVR 引入检索度量奖励 |
| 2025 Q1 | DeepSeek-R1 | 纯 RL 让模型学会“反思” |
| 2025 Q2 | Kimi-1.5 | 多模态 + 大规模 GRPO |
| 2025 Q4 | 本文综述 | 把以上全部装进 4 个盒子 |
3️⃣ 范式深潜：公式 + 例子 + 论文链接
3.1 A1：工具执行信号 → 改智能体
数学形式
A∗= arg maxA Otool(A,T)
reward = 工具返回的可验证结果（代码跑通/检索召回/定理证明步）
Figure-4 A1 方法时间轴
经典案例
- DeepRetrieval（COLM’25）
用 PPO 把搜索查询当 action，Recall@K 当 reward，3× 提升文献检索。 - DeepSeek-Prover-V2
Lean4 证明步正确即 +1，错误即 0，GRPO 训练，SOTA 定理证明。
3.2 A2：智能体最终输出 → 改智能体
数学形式
A∗= arg maxA Oagent(A,T)
reward = 答案正确性（EM、F1、人类偏好）
Figure-5 A2 方法时间轴
经典案例
- DeepSeek-R1（Nature’25）
纯 RL，无 SFT，数学 Benchmark 直接拉满，首次出现“自我反思”涌现。 - Search-R1（COLM’25）
检索+生成端到端 RL，答案对则奖励高，自动学会“何时搜、搜什么”。
3.3 T1：智能体无关 → 改工具
数学形式
T∗= arg maxT Otool(T)
训练时完全不 care智能体是谁，训好即可插拔。
经典案例
- 稠密检索器（DPR、Contriever）
对比学习训完，任何 LLM 都能调用。 - HuggingGPT
把 HF 上所有模型当工具，LLM 只负责调度。
3.4 T2：智能体输出 → 改工具
数学形式
T∗= arg maxT Oagent(Afixed,T)
工具更新目标 = 让固定智能体下游任务更准。
T2方法时间线
经典案例
- S3（ICLR’24）
可学搜索子智能体，用主 LLM 的最终答案正确性当 reward，GRPO 更新。 - 自适应记忆（Reflexion、Memento）
记忆模块 = 工具，LLM 输出反思文本 → 写入记忆，下次检索更准。
4️⃣ 如何选型？一张对比表告诉你
| 维度 | A1 | A2 | T1 | T2 |
|---|---|---|---|---|
| 训练成本 | 高（整模型） | 高（整模型） | 低（只工具） | 低（只工具） |
| 灵活性 | 高（任意工具） | 高（任意工具） | 中（需接口） | 中（需接口） |
| 跨任务泛化 | 中（易过拟合） | 中（易过拟合） | 高（工具无关） | 中（绑定主 LLM） |
| 模块化 | 差（一体） | 差（一体） | 好（即插即用） | 好（工具可热插拔） |
| 代表场景 | 代码解释器、定理证明 | 数学推理、搜索问答 | 稠密检索、API 调用 | 自适应搜索、记忆 |
作者建议：
- 穷但有卡→ A1/A2 直接上 RL，上限最高
- 穷且没卡→ T1/T2 训小工具，GPT-4/Claude 当大脑
- 既要又要→ 级联：T1 检索 + T2 重排 + A1 推理，三段式最稳
5️⃣ 应用秀场：他们这样落地
| 领域 | 系统 | 使用范式 |
|---|---|---|
| 深度研究 | DeepResearcher | A2 + T2 多轮搜索→总结 |
| 软件开发 | R1-Code-Interpreter | A1 代码执行反馈 |
| 计算机使用 | WebGen-Agent | A1 多模态截图奖励 |
| 药物发现 | MedResearcher-R1 | T2 医学检索微调 |
一些思考
让大模型“动手”只是第一步，让它“越用越顺手”才是终极战场。
一张地图：A1/A2 改脑子，T1/T2 改外挂；穷则精准工具，富则全模型 RL，结合食用效果更佳！
AI大模型从0到精通全套学习大礼包
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
只要你是真心想学AI大模型，我这份资料就可以无偿共享给你学习。大模型行业确实也需要更多的有志之士加入进来，我也真心希望帮助大家学好这门技术，如果日后有什么学习上的问题，欢迎找我交流，有技术上面的问题，我是很愿意去帮助大家的！
如果你也想通过学大模型技术去帮助就业和转行，可以扫描下方链接👇👇
大模型重磅福利：入门进阶全套104G学习资源包免费分享！
01.从入门到精通的全套视频教程
包含提示词工程、RAG、Agent等技术点
02.AI大模型学习路线图（还有视频解说）
全过程AI大模型学习路线
03.学习电子书籍和技术文档
市面上的大模型书籍确实太多了，这些是我精选出来的
04.大模型面试题目详解
05.这些资料真的有用吗?
这份资料由我和鲁为民博士共同整理，鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位，在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利，同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。
所有的视频由智泊AI老师录制，且资料与智泊AI共享，相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念，通过动态追踪大模型开发、数据标注伦理等前沿技术趋势，构建起"前沿课程+智能实训+精准就业"的高效培养体系。
课堂上不光教理论，还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作，把课本知识变成真本事！
如果说你是以下人群中的其中一类，都可以来智泊AI学习人工智能，找到高薪工作，一次小小的“投资”换来的是终身受益！
应届毕业生：无工作经验但想要系统学习AI大模型技术，期待通过实战项目掌握核心技术。
零基础转型：非技术背景但关注AI应用场景，计划通过低代码工具实现“AI+行业”跨界。
业务赋能 突破瓶颈：传统开发者（Java/前端等）学习Transformer架构与LangChain框架，向AI全栈工程师转型。
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
)
