这两年我面试过不少自称"提示词专家"的候选人,发现一个很有意思的现象:2023年还能靠几套花式提问模板惊艳全场的人,到2025年已经很难打出差异化了。不是他们不努力,而是这行的水位整体抬高了——模型越来越听话,现成的提示词模板随手就是一大把,连不写代码的运营同学都能用内置工具调出不错的效果。真正把差距拉开的,反而是那些不太聊"咒语"、一开口就是"你这套系统上下文是怎么组织的"的人。
这类人正在变成一种新角色:提示工程架构师。往小了说,他们负责决定一次AI交互里模型到底该看到哪些信息;往大了说,他们管理的是整个AI应用的认知入口——所有进到模型视野里的文字、图片、表格、历史记录,都由他们设计、调度、度量。这篇文章基于我自己在真实项目里的观察和复盘,拆解未来一段时间内这个岗位最值得投入的6个能力升级方向,也聊聊哪些能力正在贬值,哪些能力会越来越值钱。无论你刚入行、正在负责AI应用落地,还是已经带团队,这篇都应该能给你一些坐标系。
1. 先聊一个扎心的事实:提示词写得好,正在变得越来越不值钱
1.1 从"怎么写指令"到"怎么安排信息":这一行发生了什么
我先说结论:提示词本身没有死,但靠提示词建立的门槛正在崩塌。现在随便一个AI应用配置界面里都有现成的角色设定、输出格式、示例管理,很多模型本身对指令的遵从能力也比两年前强了不止一个档次。换句话说,"把话说清楚"已经从一种稀缺技能变成了一种基础素质。
那稀缺的是什么?是信息安排的能力。同一个模型,你给它一段孤零零的问题,和给它一套精心组织过的背景材料、约束条件、历史决策记录,两者的回答质量可以差出好几个量级。我见过太多这样的团队:Prompt写得倒挺漂亮,但压根没想清楚模型需要什么信息才能答好——该给的背景不给,不该给的噪声全塞进去,结果就是模型一本正经地胡说八道,团队还以为是模型不行。
这就是上下文工程登场的背景。如果提示词解决的是"怎么问",上下文工程解决的就是"让模型在什么信息环境里作答"。前者是单点的、局部的,后者是系统的、全局的。
1.2 为什么说上下文工程是提示工程的下一站
业界对"上下文工程"这个词还没有绝对统一的定义,但大家公认的核心是:围绕一次或一系列AI调用,对输入信息进行全生命周期的设计与管理。它包括选什么信息进上下文、信息以什么形态组织、信息的先后顺序、信息的时效与回收、信息的使用成本,以及多轮、多智能体之间怎么共享这些信息。
我用一个生活类比来解释:提示词是"你向一位顾问提了一个好问题",上下文工程是"你为这位顾问准备了完整的项目资料包"。资料包里有什么、按什么顺序排放、哪些涉密信息要抽掉、过期的数据有没有标注,这些直接决定了顾问给出的建议靠不靠谱。只有问题没有资料,顾问就只能给你一套正确的废话。
所以我的判断是:未来两年,AI应用团队里真正稀缺的岗位画像,从"会写提示词的人"转向"会架构上下文的人"。提示工程架构师这个名字会越来越常被提起,而且它的能力要求远不止写Prompt。
2. 上下文工程的能力坐标系:六个方向从哪来
2.1 提示工程与上下文工程的分水岭
把两者放到一张表里对比会更直观:
| 维度 | 提示工程 | 上下文工程 |
|---|---|---|
| 关注对象 | 指令文本本身 | 模型可见的全部信息 |
| 作用范围 | 单次对话、单条消息 | 会话全周期、多系统协同 |
| 核心问题 | 怎么说模型才懂 | 给什么模型才答得准 |
| 信息形态 | 文本为主 | 文本、图片、表格、代码、历史记录混合 |
| 主要手段 | 角色设定、示例、格式约束 | 信息选取、剪裁、检索、缓存、度量 |
| 失败代价 | 一次回答质量下降 | 系统性成本上升、行为漂移、维护灾难 |
顺着这个分水岭往下走,上下文工程要求的能力其实可以归纳成一个四象限:信息资源侧(喂什么)、信息维护侧(怎么管)、信息协同侧(怎么传)、信息度量侧(凭什么)。每个象限再拆细,就得到了前面提到的六个方向。
2.2 面对同一个问题,两种工程师的思考路径差异
我举个实际例子。某电商客服系统遇到了"用户问退款到账时间,模型回答不准确"的问题。提示工程师的第一反应是改指令:你告诉他"你是客服专家,请基于退款流程回答"。改了之后有一定效果,但遇到复杂的售后单子还是翻车。
换成做上下文工程的同事,他的排查路径完全不一样:他会先去看模型在回答时到底"看到了什么"。结果发现,上下文里塞了整段原始聊天记录,用户真正关心的退款单状态字段反倒不在里面;系统里明明有退款进度接口,压根没把结果组装进上下文。他做的事情是重新设计上下文结构——把用户画像、订单状态、退款流程摘要、最近几轮对话按优先级组装好,再交给模型。问题很快就解决了,而且没有靠任何"花哨的提问技巧"。
这就是两者最大的区别:提示工程解决"表达",上下文工程解决"信息供给",而后者才是决定AI应用效果上限的地方。
2.3 六个方向的能力地图
基于上面的逻辑,我把未来提示工程架构师要升级的六个方向定义为:
- 上下文预算管理:你给模型的每一段信息都在花钱。
- 多模态上下文编排:文本之外还有图像、表格、代码片段。
- 上下文生命周期与状态管理:上下文不是一次性的,它是会过期、会失效、需要回收的。
- 可观测性与评估体系搭建:看不见上下文,就谈不上优化。
- 跨智能体上下文协调:多智能体协作时,信息不能各自为政。
- 成本与价值建模:上下文工程的每一笔投入都要算得清ROI。
接下来我用三章分别展开,每一章里都放具体的实操案例和踩坑记录。
3. 方向一与方向二:把"给模型喂什么"变成一门精确的手艺
3.1 上下文预算管理:不是所有信息都该进模型视野
先做一个简单的思想实验。假设你要给一位业务副总裁汇报项目,你手上有一份200页的文档。你会把200页全塞给他,让他自己找重点吗?大概率不会。你会做一页摘要,把关键数据、风险、需要的决策单独拎出来,再告诉他"完整版可以随时查阅"。给模型喂上下文,本质是同一件事。
很多团队在这件事上的做法恰恰相反。他们觉得上下文窗口越来越大,反正塞得下,就什么都往里放——完整聊天记录、全套知识库文档、十几个示例全部堆进去。结果往往是:模型被无关信息带偏,"丢失"关键信息,而且每次调用的成本直线上升。
上下文预算管理要练的是几个基本功:
- 对token有体感。中文字大概一个汉字折1到1.5个token,英文一个词约0.75个token,不同模型的分词器有差异。你要能做到看一眼内容,大致估算出它的token量级,误差不超过30%。这不是为了炫技,是为了做预算决策。
- 对信息分层。我把上下文里的信息分成三层:核心层(直接决定这次回答对错的信息)、参考层(可能用到的背景知识)、环境层(系统身份、格式约定、全局规则)。三层按优先级分配预算,核心层给足,参考层要克制,环境层做压缩。
- 动态裁剪。多轮对话场景里,历史是越长越好吗?实测下来不是。通常最近3到5轮完整保留,更早的历史做成摘要,再早的沉淀到向量库里按需检索。这就是"滑动窗口+摘要沉淀+检索召回"的组合拳。
我见过做得最漂亮的案例,是一个售后工单系统。原来每次调用把整串工单流转记录(平均4000多token)全部塞进上下文,模型经常被中间某条异常备注带偏。后来他们把上下文改成:工单最新状态卡片(200 token)+ 最近3条关键流转记录(300 token)+ 用户情绪摘要(80 token)+ 全局规则(300 token),总共不到1000 token。回答准确率从81%涨到92%,单次调用成本降了一大截。
3.2 多模态上下文的编排:让模型看图有看图的章法
现在的商用模型普遍支持图片、表格、代码等多种输入形态,这对上下文工程提出了新要求:你不只要决定放什么文本,还要决定放什么图、怎么放。
这里有几个实战经验。第一,图片要裁剪而不是整张丢。我做过发票识别类项目,直接把整张发票图片丢给模型,识别率一塌糊涂——背景噪声、无关印章、水印都会干扰。把关键区域(发票号码、金额、税号)先裁剪出来,再配合对应的文本提示,准确率可以提升10个百分点以上。第二,表格要按需转换。结构规整的数据表,喂Markdown或CSV格式通常比喂图片效果好。但要警惕超长表格,超过模型有效注意范围的表格建议先做列裁剪或转成摘要统计。第三,图文顺序有讲究。通常先给结论性文本,再给支撑性图片,比先图后文更容易让模型抓住重点。
这个方向的核心能力是:你要能判断"同一条信息用哪种模态表达最省token、最不容易失真",并能设计出图和文彼此印证的上下文结构。未来车载、安防、医疗影像、工业质检这类场景,多模态上下文编排能力会直接变成业务指标的胜负手。
3.3 实操案例:一次完整的上下文瘦身过程
我拿一个真实的问答系统优化过程来说明全流程,这套方法可以直接复用到你自己的项目里。
某团队做了一个内部知识库问答机器人,最初的上下文结构非常简单:用户问题 + 向量检索返回的Top 5文档片段,文档片段经常是整段整段的长文本,最长的有2000多token。症状是:回答覆盖面广,但深度不够,引用细节经常对不上。
我们做了三件事。第一,把检索片段做"段落级重排",而不是把整篇文档丢回去。知识库文档先按子章节切开,向量化时保留标题层级信息,检索命中后,只返回最相关的2到3个段落,每段控制在300 token以内。第二,在上下文里新增"答案框架区"——预先告诉模型"回答时要包含依据、结论、操作建议三个部分",让生成结构更稳定。第三,加了"不知道边界"的约束指令,检索结果实在不相关的时候允许说不知道。
一轮改造下来,上下文从平均4000多token降到1500 token左右,人工抽检的准确率从78%提升到89%,且回答明显更聚焦。这个案例里没有任何一步是高深的算法,全是"信息选取与组织"的功夫——这就是上下文预算管理的日常。
4. 方向三与方向四:让上下文从"一次性输入"变成"可维护的资产"
4.1 上下文生命周期管理:上下文是会过期、会失效、需要回收的
很多人把上下文当成"每次请求现拼的字符串",用完即弃。这在单次问答场景勉强够用,但一旦进入多轮对话、长期智能体、企业级应用,就完全不够了。上下文是有生命周期的:创建、加载、使用、刷新、失效、回收。缺了哪个环节,系统都会出问题。
举几个真实的坑。第一个坑是"上下文污染":某个AI助手里,上一轮对话里用户提到过"想取消订阅",系统把它一直保留在上下文里,后面用户问"帮我推荐一个套餐",模型就被带偏成"您是想取消订阅吗"。解决这个问题的办法是给上下文分"临时区"和"持久区",临时区每一轮滚动更新,持久区里才放用户长期属性。第二个坑是"上下文过期":知识库文档更新了,但模型还在用旧版本回答。这不是模型笨,是上下文缓存没设失效时间。第三个坑是"上下文爆炸":不考虑回收,多轮只增不减,最终每个请求都要处理超长上下文,延迟和成本双双失控。
这个方向上的进阶技能包括:理解KV Cache这类机制对重复上下文的作用,会设计语义缓存,会为不同会话类型设计不同的上下文回收策略。把上下文当成有生命的资产去维护,而不是当成一次性耗材。
4.2 可观测性设计:看不见上下文,就谈不上优化
我最初做上下文工程时最痛苦的体验是:改了一版上下文结构,上线后感觉效果好了一些,但说不清到底哪里变好了、为什么变好。后来才明白,这是典型的"上下文黑箱"问题——你根本不知道模型实际"注意"到了哪部分信息。
可观测性设计要做三件事。第一,日志要覆盖"全链路上下文"。每次请求实际发给模型的完整内容,按区块记录token数和内容hash;缓存是否命中;检索命中的是哪几条文档;模型对每个区块的注意力分布(如果接口支持)。没有这些数据,后续所有优化都是拍脑袋。第二,搭建离线的评测集。收集50到200条有标准答案的测试问题,每次改动上下文结构后跑一遍评测集,对比指标变化,用数据说话而不是靠感觉。第三,做线上A/B对比。同一问题,一组用旧上下文,一组用新上下文,比较回答准确率、用户反馈率、单次调用成本。
这里我整理了一个简单的"上下文质量体检表",供你在评估时参考:
| 维度 | 体检问题 | 不合格的信号 |
|---|---|---|
| 相关性 | 上下文每段信息与本次任务有关吗 | 超过30%的信息与当前问题无关 |
| 冗余度 | 有没有重复或可压缩的内容 | 同一事实在不同区块重复出现 |
| 时效性 | 信息是否仍然有效 | 存在超过有效期仍未更新的数据 |
| 一致性 | 区块之间有没有互相矛盾 | 系统规则与参考层内容冲突 |
| 成本效率 | token花费是否换来回答质量 | 成本上升但质量指标没有变化 |
这套表格听起来简单,真正坚持用的团队不多。原因是可观测性建设前期投入大、见效慢,但它恰恰是上下文工程从"手工作坊"走向"工程化"的分水岭。
4.3 评估体系怎么落地:从直觉判断到量化指标
再展开讲一下评估。很多团队评估AI应用只靠"抽几个人工看几眼",这在Demo阶段没问题,进入生产就危险了——你无法判断一次上下文改动到底改善还是破坏了什么。
我推荐建立一个三层指标集。第一层是任务效果指标,比如回答准确率、信息检索召回率、推荐采纳率,这些直接对应业务目标。第二层是上下文效率指标,包括单次请求的输入token数、缓存命中率、上下文压缩率、修订率(用户主动说"不对"的比例)。第三层是系统成本指标,包括单次请求成本、端到端延迟、失败重试率。三个层次综合看,才能判断"一个上下文方案到底值不值"。
举个例子。某搜索增强问答系统,我们比较了两种上下文组织方式。方案甲是"把检索到的全部文档按得分倒序拼接",方案乙是"只保留命中信息最密集的前两段"。评测集跑下来,甲乙的回答准确率几乎一样,但方案乙的输入token只有方案甲的四分之一,单次成本只有三分之一,端到端延迟还低了30%。没有评估体系,你只会觉得"方案甲效果应该更好",但数据清晰地告诉你:多喂的信息大部分是噪声,还花了冤枉钱。这就是量化评估的力量。
5. 方向五与方向六:跨系统与跨成本的架构视野
5.1 跨智能体上下文协调:别让每个Agent各说各话
这两年多智能体架构越来越多:一个规划智能体、几个执行智能体、一个聚合智能体。每一层都需要上下文,但上下文绝不能各自为政。我见过一个典型的失败案例:某售后系统里,客服智能体、质检智能体和知识库智能体各自维护一份"用户记忆",结果客服说用户是"已补偿客户",质检那边还记着"待安抚",两边互相矛盾,解决方案自然一塌糊涂。
跨智能体的上下文协调要解决三个问题:
- 全局目标怎么贯穿。整个任务的最终目标、用户的核心诉求,应该作为"任务上下文"在智能体之间透明传递,不能被某个中间环节改写或丢失。
- 局部视图怎么裁剪。执行智能体不需要知道全局所有细节,它只需要做好自己的局部任务。比如质检智能体只需要看到客服回复内容和质检规则,不需要用户完整的财务信息。裁剪不到位,一来浪费token,二来可能造成隐私风险。
- 共享记忆怎么设计。多个智能体之间要有一层共享的事实库,比如工单状态、用户关键属性、历史决策记录,每个智能体在决定自己行为前都先查这层事实库,而不是各自维护一套"记忆"。
这个方向的能力本质是"信息架构",甚至可以说它更像是企业架构师在AI场景下的投影。未来凡是做复杂自动化、多角色协作的应用,跨智能体上下文协调能力会越来越值钱。
5.2 成本与价值建模:上下文工程的ROI意识
上下文工程做的每一个决策都在花钱,这笔账不能不算。
先来一个非常简单的算术:假设你的应用每天有100万次请求,每次请求的上下文从4000 token降到1500 token,输入token单价按比较常见的商用模型价格估算,每百万token大约几十元,一天就能省下上千元的模型调用成本,一年就是几十万。这还没算延迟降低带来的用户流失减少。上下文预算管理不只是一个技术问题,它是一个实打实的成本问题。
成本与价值建模能力,具体体现在三个方面。第一,会算账。给你一个上下文结构,你能立刻折算成每次调用的token成本和对应的延迟预估;给你一个业务目标,你能倒推上下文预算上限。第二,会做权衡。某些场景里,多一点上下文确实能提升效果,你需要在"效果增量"和"成本增量"之间找到平衡点。第三,会向上沟通。业务方说"为什么这个AI方案这么贵"时,你能把成本结构拆给他们看:哪部分是上下文开销、哪部分是模型能力限制、哪部分可以通过上下文优化省下来。
这套能力在技术团队里特别稀缺。大部分工程师习惯从"能不能实现"看问题,很少从"值不值得实现"的角度做决策。而提示工程架构师恰恰需要同时掌握技术视角和商业视角。
5.3 用数据说服业务方:一次真实的多模态方案论证
讲一个我经历过的场景。某团队想在一个图像质检场景里引入多模态方案,让模型直接看产线照片来做缺陷分类。业务方觉得太贵,不肯批预算。
团队没有硬推,而是做了两件事:一是建立了一个300张图片的评测集,把"纯文本描述方案"和"图像+文本上下文方案"跑了一遍,结果显示图像方案在特定缺陷类型上的准确率高12个百分点;二是做了成本测算:图像方案单次调用多花0.02元,但误判减少能节省大量人工复核成本,综合算下来ROI是正的。数据一摆,业务方立刻点头。
这个案例其实点明了成本与价值建模的核心:不是让上下文方案越便宜越好,而是让每一分成本都有业务价值背书。这就回到了那句话——架构师不能只懂技术,还得能算账、会说话。
6. 落地路线图:从今天的岗位开始,一步一步向架构师靠拢
6.1 三个成长阶段
如果你希望向提示工程架构师方向靠拢,我建议把成长路径拆成三个阶段。
阶段一:熟练诊断自己产品的上下文。拿到任何一个 AI 功能,能画出它的上下文结构图——模型到底看到了哪些信息、从哪里来、什么时候更新、哪些是冗余的。这一步最难的是建立"上下文视角",一旦建立起来,后面很多能力都能自然生长。
阶段二:能改、能测、能算账。掌握上下文压缩、缓存、检索替换这些常规手段,并能为每次改动配备评估指标和成本核算。到这个阶段,你已经不是一个只写提示词的人了,你在优化一个系统的信息供应链。
阶段三:能带团队做体系化设计。面向复杂的业务流程,设计多智能体之间的上下文规范、建立可观测性设施、形成团队的上下文设计与评审SOP。这个阶段对标的已经是架构师的职责。到这一步,你会发现自己跟"提示词专家"的差异已经大到没法用几句话概括。
6.2 日常可以做的几个训练方法
我是靠这几个小习惯保持手感,你也可以试一下。
第一,每周挑一次真实的失败回复,反向拆解"它应该看到什么"。问自己:如果我是模型,在现有上下文里我看到的信息有没有误导我?缺了什么关键信息才答成这样?这种反向拆解比正向写提示词更能训练上下文敏感度。
第二,把写过的长提示词重构为标准四段式:背景、目标、约束、示例。这个方法看似普通,但它强制你区分"环境信息"和"核心信息",是成本预算管理的基本功。
第三,给每个上下文文件配一份"维护说明":哪里更新、什么时候失效、谁负责修改。很多团队上下文质量下滑不是因为设计得不好,而是改着改着就乱了。维护说明是一点微小的纪律,但对长期可维护性影响巨大。
第四,建立自己的小评测集。不需要很庞大,50条能代表典型任务的问答题就够了。每次调整上下文结构之后跑一遍,哪怕只有50条,也比拍脑袋判断靠谱得多。
6.3 我踩过的坑,希望你绕开
最后,分享几个我实打实踩过的坑。
第一个坑:追求"全都要"。早期我以为上下文给得越全越好,恨不得把知识库每个角落都搬进去。结果模型被大量低价值信息稀释了注意力,关键数据反而答不准。后来才明白,上下文工程的核心不是加信息,而是做减法。
第二个坑:把长上下文模型当万能胶。某段时间特别依赖大窗口模型,什么问题都靠"全文输入"解决。结果成本失控,而且因为上下文里什么都有一点,模型行为变得极不稳定。长窗口是工具,不是免死金牌,上下文预算管理在这个前提下反而更重要。
第三个坑:忘了给缓存加版本号。改了一版系统提示词,但缓存键里没带版本信息,导致部分用户还在命中旧版本的缓存结果。这个问题的可怕之处在于它是"慢性污染"——你以为新方案已经生效,其实数据里混着大量的旧逻辑。后来我给所有缓存设计强制带上"上下文版本号"字段,才算根治。
第四个坑:过度依赖模型自我报告。早期我很喜欢问模型"你刚才注意到了哪些信息",让它自己总结。后来发现模型的自我报告非常不可靠,它会"脑补"一个合理的解释。从那以后,我所有上下文分析都以日志和实际数据为准,模型的话只当参考。
这些坑的共同特点是:它们都不是模型不够聪明造成的,而是上下文管理本身的工程缺陷。这也是为什么我一直强调,提示工程架构师的核心竞争力在于对上下文生命周期的系统性掌控——它是工程,不是咒语。