如果你开发过Agent,你就会知道“在我的机器上运行正常”和“在生产环境中运行正常”之间的差距可能非常巨大。传统软件假定你基本了解输入,并且可以定义输出。而Agent则不提供这些:用户可以输入任何内容,可能的行为空间也无限广阔。这就是它们强大的原因——也是它们有时会以你意想不到的方式偏离轨道的原因。
过去三年,我们目睹了成千上万的团队在应对这一现实时苦苦挣扎。那些成功将可靠产品部署到生产环境的公司——例如 Clay、Vanta、LinkedIn 和 Cloudflare——并没有遵循传统的软件开发模式。他们正在开创一种全新的模式:Agent工程。
什么是Agent工程?
Agent工程是将非确定性生命周期管理(LLM)系统迭代改进为可靠的生产体验的过程。这是一个循环过程:构建、测试、发布、观察、改进、重复。
关键在于,发货并非最终目标。它只是你不断获取新见解、改进Agent的途径。要做出真正有意义的改进,你需要了解生产环境中的运行情况。你越快完成这个循环,你的Agent就越可靠。
我们认为Agent工程是一门结合了三种技能的新兴学科:
- 产品思维界定了范围并塑造了Agent人的行为。这包括:
- 撰写能够引导经纪人行为的Prompt(通常长达数百甚至数千行)。良好的沟通和写作技巧至关重要。
- 深刻理解Agent所复制的“待完成任务”
- 定义评估方法,以检验Agent是否按照“待完成任务”的预期方式执行操作。
- 工程团队构建了使Agent程序能够投入生产环境的基础设施。这包括:
- 供Agent人使用的写作工具
- 开发用于Agent交互的 UI/UX(包括流式传输、中断处理等)
- 创建强大的运行时环境,能够处理持久执行、人机交互暂停和内存管理。
- 数据科学用于衡量和提升Agent的性能,并随着时间的推移不断改进。这包括:
- 构建系统(评估、A/B 测试、监控等)以衡量Agent的性能和可靠性
- 分析使用模式和错误分析(因为Agent程序比传统软件拥有更广泛的用户使用方式)
Agent工程的应用场景
Agent工程并非一个新职位名称。它指的是现有团队在构建能够推理、适应并做出不可预测行为的系统时所承担的一系列职责。如今,那些能够交付可靠Agent的组织正在扩展工程、产品和数据团队的技能,以满足非确定性系统的需求。
这种做法通常出现在以下地方:
- 软件工程师和机器学习工程师编写Prompt并构建Agent使用的工具,追踪Agent调用特定工具的原因,并改进底层模型。
- 平台工程师正在构建Agent基础设施,以处理持久执行和人机协作工作流程。
- 产品经理负责编写Prompt、定义Agent功能范围,并确保Agent能够解决正确的问题。
- 数据科学家通过测量Agent可靠性来识别改进机会。
这些团队推崇快速迭代,你经常会看到软件工程师追踪错误,然后交给产品经理根据这些发现调整提示信息;或者产品经理发现范围问题,需要工程师开发新的工具。他们都明白,真正强化Agent的关键在于观察生产环境中的行为,并根据所学到的知识进行系统性的改进。
为什么需要进行Agent工程?为什么是现在?
两大根本性转变使得Agent工程成为必要。
首先,LLM大语言模型功能强大,足以处理复杂的多步骤工作流程。我们已经看到,经纪人不再仅仅负责任务,而是承担了整个项目。Clay 利用经纪人处理从潜在客户研究到个性化推广和 CRM 更新的所有工作。LinkedIn 利用经纪人扫描庞大的人才库进行招聘,对候选人进行排名,并即时筛选出最匹配的候选人。我们正开始跨越一个门槛,经纪人在实际工作中能够创造真正的商业价值。
其次,这种强大的功能也伴随着真正的不可预测性。简单的LLM应用虽然不具备确定性,但其行为往往更加可控。Agent则不同。它们能够跨多个步骤进行推理,调用各种工具,并根据上下文进行调整。正是这些使Agent变得有用的特性,也使得它们的行为与传统软件截然不同。这通常意味着:
- **每一次输入都是特殊情况。**当用户可以用自然语言提出任何问题时,就不存在所谓的“正常”输入。当你输入“让它弹出”或“做上次那样但换一种方式”时,Agent(就像人一样)可以对提示做出不同的解读。
- **你不能再用老方法调试了。**因为模型内部包含太多逻辑,你必须检查每一个决策和工具调用。哪怕是提示信息或配置上的微小改动,都可能导致行为上的巨大变化。
- **“正常工作”并非非此即彼。**一个客服人员即使拥有 99.99% 的正常运行时间,也可能出现故障甚至崩溃。对于一些关键问题,例如:客服人员是否做出了正确的呼叫?是否正确使用了工具?是否理解了指令背后的意图,这些问题并非总能用简单的“是”或“否”来回答。
综合考虑所有这些因素——Agent运行着真实、高影响力的工作流程,但其行为方式却超出了传统软件的解决范围——这就带来了机遇,也催生了一门新的学科。Agent工程让您能够充分利用LLM大语言模型的强大功能,同时构建真正值得信赖的生产系统。
Agent工程在实践中是什么样的?
Agent工程的运作原理与传统软件开发截然不同。要实现可靠的Agent系统,关键在于不断迭代更新,而不是在学习之后继续改进。
我们看到一些成功的工程团队在开发Agent时遵循着类似这样的节奏:
- **构建Agent的基础架构。**无论是简单的 LLM 调用工具,还是复杂的多Agent系统,首先都要设计Agent的基础架构。您的架构取决于您需要的工作流(确定性的逐步流程)与自主性(LLM 驱动的决策)的比例。
- 基于你能想象到的场景进行测试。针对示例场景测试你的Agent,以发现提示、工具定义和工作流程中存在的明显问题。与可以绘制用户流程图的传统软件不同,你无法预知用户与自然语言输入交互的每一种方式。转变你的思维模式,从“穷尽测试,然后发布”转变为“合理测试,发布以了解真正重要的内容”。
- **发布版本以观察真实世界的运行情况。**一旦发布,您将立即看到之前未曾考虑到的输入,并且每个生产跟踪记录都会显示您的Agent实际需要处理的内容。
- **观察。**追踪每一次交互,查看完整的对话、调用的每个工具以及Agent做出每个决策的确切上下文。对生产数据进行评估,衡量Agent质量,无论您关注的是准确率、延迟、用户满意度还是其他标准。
- 改进。一旦你识别出故障模式,就可以通过编辑提示和修改工具定义来改进。这是一个持续的过程,你可以将问题案例添加到回归测试的示例场景集中。
- 重复这个过程。发布你的改进,并观察生产环境中的变化。每个周期都会让你对用户如何与你的Agent交互以及可靠性在你的实际环境中究竟意味着什么有新的认识。
Agent工程领域的新标准
如今,能够交付可靠Agent的团队都有一个共同点:他们不再试图在发布前完美地完善Agent,而是将生产环境视为主要的学习资源。换句话说,他们会追踪每一个决策,进行大规模评估,并在几天内而非几个季度内交付改进。
Agent工程的兴起源于机遇的必然要求。Agent现在可以处理以前需要人工判断的工作流程,但前提是必须确保其足够可靠,值得信赖。没有捷径可走,唯有系统地迭代改进。问题不在于Agent工程是否会成为标准做法,而在于你的团队能否快速采用它,从而充分发挥Agent的潜力。
那么,如何系统的去学习大模型LLM?
作为一名深耕行业的资深大模型算法工程师,我经常会收到一些评论和私信,我是小白,学习大模型该从哪里入手呢?我自学没有方向怎么办?这个地方我不会啊。如果你也有类似的经历,一定要继续看下去!这些问题啊,也不是三言两语啊就能讲明白的。
所以我综合了大模型的所有知识点,给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢,我就曾放空大脑,以一个大模型小白的角度去重新解析它,采用基础知识和实战项目相结合的教学方式,历时3个月,终于完成了这样的课程,让你真正体会到什么是每一秒都在疯狂输出知识点。
由于篇幅有限,⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》,扫码获取~
👉大模型学习指南+路线汇总👈
我们这套大模型资料呢,会从基础篇、进阶篇和项目实战篇等三大方面来讲解。
👉①.基础篇👈
基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程,带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念,用最易懂的方式带你入门大模型。
👉②.进阶篇👈
接下来是进阶篇,你将掌握RAG、Agent、Langchain、大模型微调和私有化部署,学习如何构建外挂知识库并和自己的企业相结合,学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。
👉③.实战篇👈
实战篇会手把手带着大家练习企业级的落地项目(已脱敏),比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等,从而帮助大家更好的应对大模型时代的挑战。
👉④.福利篇👈
最后呢,会给大家一个小福利,课程视频中的所有素材,有搭建AI开发环境资料包,还有学习计划表,几十上百G素材、电子书和课件等等,只要你能想到的素材,我这里几乎都有。我已经全部上传到CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
相信我,这套大模型系统教程将会是全网最齐全 最易懂的小白专用课!!