随着大语言模型（LLMs）的发展，仅依靠人类监督来提升模型性能的成本高昂且存在局限。本文提出了“自我改进”的概念，即模型自主生成数据、评估输出并迭代优化自身能力。文章从系统级视角提出了一套整合现有技术的统一框架，将自我改进系统概念化为一个闭环生命周期，包括数据获取、数据筛选、模型优化、推理细化和自主评估五个紧密耦合的过程。该框架中，模型自身在驱动各个阶段中发挥着核心作用，而自主评估层则持续监控进展并引导跨阶段的改进循环。本文还讨论了当前的局限性，并对通往完全自我改进LLM的未来研究方向进行了展望。
来源：专知
随着大语言模型（LLMs）的持续演进，仅依靠人类监督来提升模型性能的成本日益高昂，且在可扩展性方面存在局限。当模型在特定领域接近人类水平时，人类反馈可能无法再为进一步的提升提供足够的信息增益。与此同时，模型自主决策和执行复杂任务能力的增强，使得模型开发流程中各个组件的逐步自动化成为可能。在挑战与机遇的共同驱动下，“自我改进”（Self-improvement）引起了学术界日益增长的关注，即模型自主生成数据、评估输出并迭代优化自身能力。
本文从系统级视角审视了具备自我改进能力的语言模型，并提出了一套整合现有技术的统一框架。我们将自我改进系统概念化为一个闭环生命周期，由四个紧密耦合的过程组成：数据获取、数据筛选、模型优化和推理细化，并辅以一个自主评估层。在该框架中，模型自身在驱动各个阶段中发挥着核心作用：收集或生成数据、筛选信息信号、更新参数以及细化输出；同时，自主评估层持续监控进展并引导跨阶段的改进循环。基于这一生命周期视角，我们从技术角度系统地评述并分析了各组件的代表性方法。此外，我们进一步讨论了当前的局限性，并对通往完全自我改进 LLM 的未来研究方向进行了展望。
1 引言 (Introduction)
通过扩展模型规模、训练数据和计算量，大语言模型（LLMs）已实现快速且持续的性能增益（Brown et al., 2020; Ouyang et al., 2022; Hoffmann et al., 2022; OpenAI et al., 2024）。支撑这一进展的普遍假设是：更大规模、更高质量的数据集，特别是专家标注的人类监督，是催生更强模型的关键。在实践中，诸如 RLHF（Ouyang et al., 2022）等方法高度依赖精心策划的高质量监督信号，以对预训练模型进行对齐和细化。
然而，随着模型的不断演进，主要依靠人类监督来改进模型的范式暴露出了几项结构性局限：
- 人类数据的稀缺性日益凸显：高质量的专家标注数据成本高昂且难以规模化（Gilardi et al., 2023; Villalobos et al., 2024）。构建大型监督数据集的边际成本迅速增长，而专家劳动力资源却始终有限。
- 更深层的局限在于人类认知的边界：如果模型监督始终受限于人类智能，模型是否能真正超越人类水平？当模型在某些领域接近或超过人类水平时，人类反馈可能不再能提供足够的信息梯度（Informative Gradients）以支持进一步提升（Bowman, 2023; Burns et al., 2023）。这提出了一个根本性问题：当模型与其监督者（人类）水平持平时，如何持续进化？
上述局限共同促使学术界探索**模型自我改进（Model Self-improvement）**这一极具前景的方向。模型不再完全依赖外部的人类信号，而是利用自身能力来生成数据、评估输出并迭代优化其策略。
从自动化的角度来看，这一方向不仅是理想的，而且是必然的。随着 LLMs 的进阶，它们展现出了解决复杂工程任务和参与高层决策的能力。鉴于 LLMs 的开发过程（包括数据获取、筛选和模型训练）本身就是一项高度复杂的工程任务，将这些职责委派给模型自身是一个自然的演进过程。通过将 LLMs 作为智能体（Agents）来编排自身的开发生命周期，一个“系统侧”的自我改进闭环得以建立。如图 1 所示，我们的愿景是从人类驱动的模型开发转向自主自我改进系统范式，使 LLM 通过自主导向的迭代和反馈不断增强其能力。
我们将 LLM 的自我改进定义为：**一种在没有持续人工干预（Human-in-the-loop）的情况下，模型迭代增强自身能力的学习范式。**该范式具有两个核心属性：
- 自主性（Autonomy）：改进过程无需持续的人工标注或手动校正。“自我”并不排斥外部组件；系统仍可使用教师模型、验证器（Verifiers）、评论家（Critics）、奖励模型或自动评估器等辅助模块。关键要求是：学习环节一旦部署，必须是完全自动化的。
- 持续性（Continuity）：自我改进并非一次性的细化，而是一个迭代的、自我强化的过程。前期阶段的输出或经验被重新利用，为后续更新产生更强的监督信号。每一轮改进都依赖并放大先前的成果，从而实现随时间推移的累积式进展。
在此定义下，自我改进不仅仅是提升任务指标的技术，更是一种实现持续、自主增长的结构性能力。从 AI 长期发展的视角看，这种能力被广泛认为是构建能够超越初始训练范畴、实现持续学习与适应的系统的核心。
受此愿景启发，如图 2 所示，我们提出了一个由五个互连组件组成的生命周期自我改进系统。其中四个组件——数据获取、数据筛选、模型优化和推理细化——共同解决了一个核心问题：为了构建端到端的自我改进系统，如何在不同阶段利用模型自身来驱动持续且自主的贡献？具体而言：
- 数据获取（Data Acquisition）：模型自主收集或生成训练数据。
- 数据筛选（Data Selection）：模型独立评估并过滤出质量更高、更适合自身学习的数据点。
- 模型优化（Model Optimization）：模型自主学习，有效地将数据转化为其参数内部的增强能力。
- 推理细化（Inference Refinement）：模型在推理过程中提升性能，而无需更改底层参数。
除了这四个阶段，系统还需要一种长期衡量与引导机制，以确保自我改进的稳定性和可持续性。为此，我们引入了第五个组件：自主评估（Autonomous Evaluation）。它为模型表现提供持续反馈，并引导其未来的发展方向。由于静态基准测试（Benchmarks）会迅速过时，且人工评估无法随系统规模同步增长，这种机制至关重要。通过自主评估，模型可以保持及时、自适应的反馈，支撑长期的持续改进。
这五个组件共同将模型置于自动化迭代闭环的核心地位。该统一系统确保了改进信号能够被一致地生成、筛选、应用、细化和评估，为实现更广泛的系统级 LLM 自我改进铺平了道路。
近期已有一些综述从不同角度探讨了自我改进。例如，Tao et al. (2024) 关注通过自我训练和强化学习实现的策略级自我演化；Dong et al. (2024) 评述了提示词（Prompting）和解码细化等推理侧改进技术；Fang et al. (2025a) 和 Gao et al. (2026) 则强调智能体系统，突出记忆、反思和工具增强交互。尽管如此，现有研究大多集中在特定阶段（如训练或推理）的局部机制。相比之下，我们采用了系统级视角，将自我改进概念化为一个统一的、闭环的生命周期，将模型开发的所有阶段整合进一个连贯的、用于可扩展自主演化的端到端框架中。
本文余下部分分为两个主要部分。首先，从技术角度系统研究自我改进系统中的每个组件（§2 至 §6），并将其分类（如图 3 所示）。其次，我们将讨论更宏观的自我改进系统（§7 至 §9），涵盖挑战、局限、应用及未来展望（结构如图 9 所示）。此外，尽管本文以模型为中心，但也纳入了关于**自我演化智能体（Self-evolving agents）**的研究。我们认为，从单一阶段向统一自我改进系统的转变，与从独立模型向智能体系统的转变相呼应，反映了向更自主、交互式学习系统范式发展的共同趋势。
阅读最新前沿科技趋势报告，请访问21世纪关键技术研究院的“未来知识库”
*
01
什么是AI大模型应用开发工程师？
如果说AI大模型是蕴藏着巨大能量的“后台超级能力”，那么AI大模型应用开发工程师就是将这种能量转化为实用工具的执行者。
AI大模型应用开发工程师是基于AI大模型，设计开发落地业务的应用工程师。
这个职业的核心价值，在于打破技术与用户之间的壁垒，把普通人难以理解的算法逻辑、模型参数，转化为人人都能轻松操作的产品形态。
无论是日常写作时用到的AI文案生成器、修图软件里的智能美化功能，还是办公场景中的自动记账工具、会议记录用的语音转文字APP，这些看似简单的应用背后，都是应用开发工程师在默默搭建技术与需求之间的桥梁。
他们不追求创造全新的大模型，而是专注于让已有的大模型“听懂”业务需求，“学会”解决具体问题，最终形成可落地、可使用的产品。
CSDN粉丝独家福利
给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】
02
AI大模型应用开发工程师的核心职责
需求分析与拆解是工作的起点，也是确保开发不偏离方向的关键。
应用开发工程师需要直接对接业务方，深入理解其核心诉求——不仅要明确“要做什么”，更要厘清“为什么要做”以及“做到什么程度算合格”。
在此基础上，他们会将模糊的业务需求拆解为具体的技术任务，明确每个环节的执行标准，并评估技术实现的可行性，同时定义清晰的核心指标，为后续开发、测试提供依据。
这一步就像建筑前的图纸设计，若出现偏差，后续所有工作都可能白费。
技术选型与适配是衔接需求与开发的核心环节。
工程师需要根据业务场景的特点，选择合适的基础大模型、开发框架和工具——不同的业务对模型的响应速度、精度、成本要求不同，选型的合理性直接影响最终产品的表现。
同时，他们还要对行业相关数据进行预处理，通过提示词工程优化模型输出，或在必要时进行轻量化微调，让基础模型更好地适配具体业务。
此外，设计合理的上下文管理规则确保模型理解连贯需求，建立敏感信息过滤机制保障数据安全，也是这一环节的重要内容。
应用开发与对接则是将方案转化为产品的实操阶段。
工程师会利用选定的开发框架构建应用的核心功能，同时联动各类外部系统——比如将AI模型与企业现有的客户管理系统、数据存储系统打通，确保数据流转顺畅。
在这一过程中，他们还需要配合设计团队打磨前端交互界面，让技术功能以简洁易懂的方式呈现给用户，实现从技术方案到产品形态的转化。
测试与优化是保障产品质量的关键步骤。
工程师会开展全面的功能测试，找出并修复开发过程中出现的漏洞，同时针对模型的响应速度、稳定性等性能指标进行优化。
安全合规性也是测试的重点，需要确保应用符合数据保护、隐私安全等相关规定。
此外，他们还会收集用户反馈，通过调整模型参数、优化提示词等方式持续提升产品体验，让应用更贴合用户实际使用需求。
部署运维与迭代则贯穿产品的整个生命周期。
工程师会通过云服务器或私有服务器将应用部署上线，并实时监控运行状态，及时处理突发故障，确保应用稳定运行。
随着业务需求的变化，他们还需要对应用功能进行迭代更新，同时编写完善的开发文档和使用手册，为后续的维护和交接提供支持。
03
薪资情况与职业价值
市场对这一职业的高度认可，直接体现在薪资待遇上。
据猎聘最新在招岗位数据显示，AI大模型应用开发工程师的月薪最高可达60k。
在AI技术加速落地的当下，这种“技术+业务”的复合型能力尤为稀缺，让该职业成为当下极具吸引力的就业选择。
AI大模型应用开发工程师是AI技术落地的关键桥梁。
他们用专业能力将抽象的技术转化为具体的产品，让大模型的价值真正渗透到各行各业。
随着AI场景化应用的不断深化，这一职业的重要性将更加凸显，也必将吸引更多人才投身其中，推动AI技术更好地服务于社会发展。
CSDN粉丝独家福利
给大家整理了一份AI大模型全套学习资料，这份完整版的 AI 大模型学习资料已经上传CSDN，朋友们如果需要可以扫描下方二维码&点击下方CSDN官方认证链接免费领取【保证100%免费】
