面试现场
超长对话怎么处理?上下文窗口不够怎么办?
三种方案:滑动窗口、摘要压缩、结构化提取。
推荐用哪种?
结构化提取最好,但实际落地要组合用。
好——
到底怎么理解
长对话处理有三种主流方案,各有优劣:
方案一:滑动窗口
只保留最近 N 轮对话作为上下文,更早的内容直接丢弃。
优点:实现简单,Token 消耗可控。缺点:可能丢失重要的早期信息,用户前面说过的关键需求忘了。
方案二:对话摘要压缩
定期(比如每 10 轮)用 LLM 对历史对话生成摘要,用摘要替代原始对话历史。
优点:信息损失少,Token 消耗可控。缺点:摘要本身可能有偏差,重要细节被过度压缩。
方案三:关键信息结构化提取(推荐)
从对话中提取关键实体和槽位——用户姓名、订单号、偏好等,结构化存储在单独的"用户档案"里,每次对话都带上这个档案。
优点:核心信息永不丢失,Token 开销小,对话越长优势越明显。缺点:需要设计好提取和更新的逻辑。
实际落地怎么用?
通常组合使用:
- 最近 5 轮完整保留(保证对话连贯性)
- 更早的内容做摘要(保留关键信息)
- 关键信息结构化存档(用户档案长期保留)
真实场景:落地时到底用在哪?
智能客服用户聊了 20 轮 → 前 10 轮压缩成摘要 → 关键信息(订单号、问题类型)结构化存储 → 继续对话不丢上下文
私人助手长期对话 → 提取用户偏好、日程、待办 → 结构化存储 → 每次对话携带用户档案
数据分析对话多轮分析对话 → 提取已查询的数据表、筛选条件 → 结构化存储 → 后续分析基于已有结果
面试官爱问:对话摘要怎么生成效果最好? 答:用 LLM 提炼对话要点——讨论了什么主题、确定了什么信息、遗留了什么问题,保留关键实体,去除闲聊内容。
实在记不住,就背这句
长对话处理 = 滑动窗口(短期)+ 对话摘要(中期)+ 关键信息结构化(长期),三层结合才能既省 Token 又不丢信息。
学AI大模型的正确顺序,千万不要搞错了
🤔2026年AI风口已来!各行各业的AI渗透肉眼可见,超多公司要么转型做AI相关产品,要么高薪挖AI技术人才,机遇直接摆在眼前!
有往AI方向发展,或者本身有后端编程基础的朋友,直接冲AI大模型应用开发转岗超合适!
就算暂时不打算转岗,了解大模型、RAG、Prompt、Agent这些热门概念,能上手做简单项目,也绝对是求职加分王🔋
📝给大家整理了超全最新的AI大模型应用开发学习清单和资料,手把手帮你快速入门!👇👇
学习路线:
✅大模型基础认知—大模型核心原理、发展历程、主流模型(GPT、文心一言等)特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架(LangChain等)实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经
以上6大模块,看似清晰好上手,实则每个部分都有扎实的核心内容需要吃透!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~