一、创新点
- ACON是一个统一的框架，专门用于优化长时域（long-horizon）大型语言模型（LLM）代理（agents）的上下文压缩。它能够同时压缩环境观察（observations）和交互历史（interaction histories），这是以往研究中较少涉及的。
- ACON提出将优化后的压缩器（compressor）蒸馏到更小的模型中，从而显著降低计算开销。实验表明，经过蒸馏的小模型在压缩性能上能够保留超过95%的教师模型（teacher model）性能，同时减少了模块的额外开销。
二、方法
本文的主要研究方法是提出了一种名为Agent Context Optimization（ACON）的框架，用于优化长时域（long-horizon）大型语言模型（LLM）代理的上下文压缩。该框架通过在自然语言空间中优化压缩指南（prompts），动态地将环境观察和交互历史压缩成简洁但信息丰富的摘要。具体来说，ACON利用对比分析（contrastive analysis），比较成功和失败的任务轨迹来分析失败的原因，并据此更新压缩指南，从而确保关键信息得以保留。这种方法是无梯度（gradient-free）的，无需对模型参数进行更新，因此可以直接应用于闭源模型或生产模型。此外，ACON还提出了将优化后的压缩器蒸馏到更小的模型中，以降低计算开销，同时保持压缩性能。通过在多个长时域任务基准上的实验验证，ACON在减少内存使用的同时保持了任务性能，并且能够显著提升小模型在长上下文任务中的表现。
1.AppWorld基准测试中的准确率与峰值token权衡
本图展示了在AppWorld基准测试中，不同压缩方法在准确率与峰值输入token之间的权衡关系。图中比较了三种不同的压缩方法：未压缩（No Compression）、简单的LLM提示压缩（Naive LLM Prompting）以及本文提出的ACON方法。从图中可以看出，ACON在保持高准确率的同时，显著降低了峰值token数量，尤其是在使用大型模型（如gpt-4.1）时，ACON能够有效减少内存使用，而不会牺牲任务性能。此外，ACON方法还能在较小的模型（如gpt-4.1-mini和Qwen-14B）上进一步提高准确率，这表明ACON不仅优化了压缩效率，还增强了小模型在长时域任务中的表现。整体而言，本图直观地展示了ACON在准确率与效率之间的优越平衡，证明了其在长时域LLM代理任务中的有效性。
2.ACON框架
本图展示了LLM代理在与环境交互过程中，如何因不断累积的交互历史（动作和观察）而导致上下文长度不断增长，进而引发高内存使用的问题。图的左侧描绘了LLM代理在与环境交互时，动作和观察如何逐步积累，形成越来越长的上下文。这种不断增长的上下文不仅增加了模型推理的成本（因为Transformer模型的计算成本与上下文长度成正比），还可能导致信息过载，使得模型在长时域任务中难以有效决策。图的右侧通过红色曲线展示了上下文长度随交互步骤增加而无限制增长的趋势，以及由此带来的高内存使用问题。而ACON框架的目标就是通过优化压缩策略，将这些长上下文压缩成简洁且信息丰富的摘要（如图中蓝色曲线所示），从而减少峰值token数量和内存使用，同时保留对任务成功至关重要的信息。这不仅降低了推理成本，还提高了模型在长时域任务中的决策质量和效率。
3.压缩指南优化：通过对比反馈进行优化
本图展示了ACON框架中压缩指南优化的核心过程。该图通过一个具体的例子说明了如何通过对比成功和失败的任务轨迹来优化压缩指南。具体来说，图中展示了在没有压缩的情况下，代理能够成功完成任务的轨迹，以及在压缩后失败的轨迹。通过分析这两种轨迹的差异，ACON框架能够生成自然语言反馈，指出压缩过程中丢失的关键信息或导致失败的原因。这些反馈随后被用来更新压缩指南，使其在后续任务中能够更有效地保留关键信息，同时减少上下文长度。图3还展示了优化后的压缩指南如何在后续任务中提高成功率，同时显著降低上下文的token数量，从而在保持任务性能的同时提高效率。这一过程不仅展示了ACON框架的动态适应性，还体现了其在长时域任务中优化上下文管理的能力。
4.实验
本表展示了在AppWorld基准测试中，不同方法在不同难度级别任务上的性能和效率对比。AppWorld是一个模拟真实世界应用环境的基准测试，要求代理在多个步骤中与环境交互以完成任务。表中比较了未压缩（No Compression）、简单的LLM提示压缩（Naive LLM Prompting）、ACON（仅效用最大化步骤，ACON UT）以及ACON（效用最大化和压缩最大化步骤，ACON UTCO）四种方法的性能。从表中可以看出，ACON方法在保持高准确率的同时，显著降低了峰值token数量和依赖度（dependency），这表明ACON在压缩上下文的同时，能够有效保留对任务成功至关重要的信息。具体来说，ACON UTCO在所有难度级别上都取得了最佳的性能和效率平衡，尤其是在中等难度和高难度任务上，ACON UTCO不仅保持了较高的准确率，还大幅减少了峰值token数量和依赖度，这表明ACON在长时域任务中具有显著的优势。
如何学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。
