银行业里做对话摘要，过去靠人听录音、看聊天记录。最近两年各家都想用LLM把客服、理财、贷后这些对话自动转成结构化摘要，但真正敢放到生产环境里的却不多。卡脖子的问题就一个：大模型生成的摘要看着通顺，里面却常夹带幻觉——金额说错、日期对不上、甚至把A客户的还款意愿安到B客户头上。这在银行场景不是扣分项，是事故项。所以就有了这个AUTOSUMM框架，专门解决银行对话摘要的生成与幻觉检测问题，把整条链路串起来做成一个可落地的方案。
这套东西适合谁？主要是有自研能力、想用LLM改造客服质检或合规留痕体系的银行科技团队。也适合做金融NLP外包服务的技术团队参考。它解决的痛点是通用摘要框架在银行场景下不够用、幻觉问题不可控、产出结果难以快速验证这三个问题。下面按我的实际搭建过程展开讲。
1. 银行场景对话摘要的特殊性与整体设计思路
1.1 银行客服场景下摘要到底难在哪
先对齐一下基线：银行对话不是开放聊天，它有明确的业务骨架。一次理财购买通话里，必然包含客户身份信息、风险测评结果、产品名称和期限、金额、双录话术确认。一次贷后催收对话里，必然包含逾期天数、应还金额、客户还款承诺、下次联系时间。这些关键字段一个都不能错，也不只是“大概意思对”就行。
以某银行的个贷催收场景为例，一通电话平均8到12分钟，大约150到250个对话轮次，其中夹杂大量寒暄、重复确认、话术朗读。如果让通用大模型直接做总结，输出往往是“客户表示近期资金紧张，可能会在月底前还款”这种模糊概括，但业务部门真正想要的是“客户承诺10月31日前归还逾期本金3.2万元及利息约860元，资金来源为工资到账，指定联系时间为工作日午间”。前者没法直接支撑后续跟进，后者才有操作价值。
另一个难点是时间线。银行对话天然存在多轮拉扯：客户先说不还，经沟通后松口，最后约定分期方案。摘要必须反映这个转变过程，而不是只截取最后结论。通用摘要经常会丢掉中间的让步条件，比如“客户要求先还30%，剩余部分下季度处理”这种关键妥协点丢了，后续催收策略就会直接跑偏。
1.2 通通用摘要方案的三个致命堵点
我拆过多个通用摘要框架在银行样本上的表现，规律性很强。
第一点，知识边界混乱。银行产品经理关心的是“客户是否充分了解提前赎回损失”，合规经理关心的是“是否明确告知了风险等级”，一线员工关心的是“客户下一步动作是什么”。同一个对话，不同角色的好摘要定义完全不同。通用框架只会产出一种“客观事实”摘要，结果谁都不满意。
第二点，数值精度失控。银行对话里的数字密度极高，利率、金额、日期、期数、电话、身份证号，来回重复多次。LLM对数字的忠实度天然不可靠，我之前用某个主流模型做一百通理财双录对话摘要，金额抄错的概率在约12%到15%之间。这个水平别说是对外监管留痕，内部质检都过不了。
第三点，无法自证。通用框架生成摘要之后，你没办法快速回答“这句话在原文里哪个片段能印证”。银行场景里，摘要需要回溯到原文证据。这也是幻觉检测模块为什么不是外挂，而是框架核心组成部分的原因。
1.3 AUTOSUMM设计的三个底层原则
针对上面这些问题，AUTOSUMM在架构层面定了三个原则。
第一个原则是事实锚定，而非自由生成。框架把摘要拆成“意图骨架”和“关键槽位”两层。意图骨架走抽取加生成的融合路线，关键槽位强制走命名实体识别加数值规约的规则通道。财务相关数值不进生成器，直接从原文抽取后按规则归一化填入，从源头阻断幻觉。
第二个原则是凭证可追溯。每一句摘要生成时，模型被要求附带它依赖的原始对话轮次编号。幻觉检测模块不是凭空判断，而是去验证这些编号对应的原文内容与摘要句是否逻辑一致。不对就召回重写，而不是只给一个人工复核标记。
第三个原则是摘要分段路由。同一个对话按不同视角分段生成，业务小结、合规风险点、客户承诺、待办事项各成一块。数据库存储时物理隔离，下游系统各取所需。这样避免一份摘要被多方使用时的反复增删改，也让检查逻辑可以分块独立。
这套框架落地后的形态是一套Python服务集群。对话音频先经过ASR转写，转写文本进入AUTOSUMM，输出是结构化的JSON摘要，同时返回逐句的可信度分数和原文引用列表。质量复核人员看到的界面是一个摘要对照原文的双栏标注页，碰到低置信度句子可以直接点击跳到原文片段去人工确认。
2. 核心模块拆解：预处理、摘要生成、幻觉检测与输出规约
2.1 对话预处理与会话结构解析
原始对话文本不能直接灌进摘要模型，第一步要做结构化清洗。银行对话的ASR结果里噪声很多，常见的包括“呃”、“就是说”、“那个”这类口癖，还有抢话、静音段、重复话术。这些如果不清掉，既浪费token，还会干扰后续的语义角色判断。
预处理管线第一步是说话人分离归位。许多ASR系统在前端会生成带说话人标签的文本，但如果电话是座席通过免提外放，客户的声音可能被误标成背景噪声。所以需要再加一道基于声纹聚类的校正。这一步在实测中能把说话人标签准确率从约85%拉到约96%，非常关键。
第二步是分句与去口语化。不能只按标点切分，银行座席经常一口气说很长的合规话术，一个标点都不带。需要按语义完整性切分，比如“好的那我先跟您说一下这个产品的风险提示产品的风险等级是R2属于中等偏低风险”就要切出两个语义单元。去口语化与其说是删词，不如说是规约映射，把“咱们银行的那个理财”映射成“本行理财产品”，保障后续实体识别的稳定性。
第三步是槽位预抽取。这是一个并行任务，在文本清洗的同时跑一遍命名实体识别，专门抽金额、日期、利率、产品名、期限、还款方式等字段。精度不够高没关系，后面摘要生成和幻觉检测还会再用，但提前抽一遍有助于生成器不要丢数字。我实测下来，预抽取结果作为额外上下文注入提示词，能让最终摘要的数值召回率提升约8个百分点。
2.2 摘要生成策略：抽取式锚点与生成式展开
AUTOSUMM不是让大模型一顿操作直接生成完整摘要，而是先跑抽取式模块拿到骨架，再做生成式润色。
具体流程是这样：
- 每条对话先按轮次切块，跑一个轻量级的摘要句抽取模型，选出高价值的原始句，比如合规确认、客户承诺、产品要素说明。
- 对抽出的句子做轻量改写，把口语洗干净，但禁止改变事实语义。
- 将抽取句连同旁路槽位信息一起拼成“事实骨架”，喂给生成式刷新。
- 刷新时明确要求：保持关键实体与数值不变，骨架句不得删减，只允许合并冗余表达、理顺语句顺序。
这个设计有一个明显好处：生成式模型犯错的空间被大幅压缩。抽取句提供了正确的事实底座，缓存模型只做表达优化，而不是从头回忆。测试中单独让一个中大型模型自由生成摘要，事实性得分约74分；加了这个抽取骨架之后，同样模型的事实性得分能提高到约91分。提升很明显。
同时，提示词里必须添加“禁忌清单”，直接写明“禁止修改金额、日期、利率、产品名称”，“金额以原文字面为准”，“禁止补充原文没有的客户意图”。不要觉得这是废话，实测不加禁忌清单和加了相比，金额错误率可以从约8%降到约3%。
2.3 幻觉检测机制：三层递进验证
这是AUTOSUMM的重头戏。幻觉检测不是用一个大模型去判断另一个大模型的输出——那种方法非常不稳，而是用三层递进验证。
**第一层是槽位一致性校验。**摘要里出现的所有金钱、日期、数字、产品代码等字段，都要回原文找。找不到来源的槽位直接标记高风险。比如摘要写“客户要求9月15日前还款”，但原文只有“客户说这月发工资就还”，那就是推理过度，判为潜在幻觉。这一层实现很简单，规则加小型分类器就够了，但能拦住大约70%的数值幻觉。
**第二层是自然语言蕴含判断。**把摘要的每一句和它引用的原文片段组成对，输入一个蕴含分类器，判断是“原文可以推出”“与原文矛盾”还是“中立不确定”。这里要考虑无信息量保留的情况：如果摘要句把原文的“本月25号之前肯定想办法”改写成“客户承诺近期还款”，虽然不矛盾，信息量却变稠甚至偏离。所以AUTOSUMM额外训练了一个“信息保真度”判断头，专门识别这种偷换概念的幻觉。
**第三层是跨轮次逻辑一致性检查。**重点检查摘要是否与整个对话逻辑链条一致。比如对话前半段客户明确拒绝查账，摘要却说“客户同意立即核对账单”，就算单句和某一处原文不冲突，跨轮次来看也矛盾。这个检查依赖前面说的意图骨架状态转移图谱，不同业务场景的图谱结构不同，催收场景就有“拒绝沟通→抗拒→松动→承诺→确认细节”这些状态节点。摘要句被映射到对应状态之后，再看状态转移顺序是否合理。
三层都低风险的句子才被标记为可信。任一环节有风险，输出时就会附带风险类型和原文证据，等待人工复核。
2.4 输出格式化与合规留痕
银行系统对接时的摘要输出必须直接能喂给下游应用，不能让人再去做一遍解析。AUTOSUMM定义的输出格式是一个固定结构的JSON Schema，顶层分五块：
{ "basic_info": { "call_id": "字符串标识", "agent_name": "座席姓名脱敏ID", "customer_name": "客户姓名脱敏ID", "dialogue_date": "通话日期", "dialogue_type": "业务类型", "total_duration_sec": 596 }, "business_summary": { "summary_text": "分点式业务小结", "evidence_spans": ["引用原文轮次编号列表"] }, "key_slots": { "product_name": "产品A", "amount": 100000.0, "rate": 0.035, "term_months": 12, "due_date": "2025-12-05" }, "risk_points": [ { "type": "compliance_violation", "description": "座席未明确告知提前赎回损失", "evidence_rounds": [7, 8] } ], "hallucination_report": { "total_sentences": 14, "high_risk_sentences": 1, "medium_risk_sentences": 2, "low_risk_sentences": 11, "risk_details": [] } }输出规约阶段还要做金额格式化统一。原文里“三万二”“3.2万”“32,000元”“32000”这些写法五花八门，必须全部规约成统一格式的数值类型，否则下游台账对不上。我在实现时维护了一个正则加规则库，也训练了一个数值抽取模型专门应对口语数字化表达。这块地雷多，但又绕不过去，做得越扎实幻觉检测第一层越轻松。
合规留痕方面，框架在输出摘要的同时生成一份审计记录，写明每个关键字段的出处、抽取时间、模型版本、置信度。监管去查的时候，不是空口说“模型效果好”，而是直接有证据链路指向原始录音转写。
3. 实操过程与关键环节实现
3.1 数据集构建与评测标准
没有一套在真实银行对话上打磨过的数据集，这套框架全是纸面推演。我处理数据的过程大概分三段。
第一段是脱敏与清洗。从银行买话单或者从公司内部的脱敏流水里抽样本，重点是去掉身份证号、银行卡号、手机号、家庭住址。卡片号用保留后四位的方式替换，姓名换成随机代号，号码用虚拟段位随机生成。这里的核心规则是脱敏后的对话文本应该保留原对话的长度、停顿、重复和说话风格分布，而不是清洗成白开水，否则下游模型在真实噪声数据上会掉点。
第二段是标注体系。不同业务线的标注维度不同。理财双录标注的关键是“产品要素是否完整”“风险揭示是否到位”“客户意图确认是否清晰”。催收对话标注的关键是“谈话阶段判定”“还款承诺的内容”“禁忌话术”。每组对话需要2到3个有业务背景的标注员。跨标注员之间的一致性系数要求较高，一般控制在0.75以上才算合格。实际跑下来，分歧大多集中在“客户承诺是不是真实意图”这种语义判断上，这个部分需要业务方一起定标。
第三段是测试集的别设计。除了随机切分的普通测试集，我还专门做了一组“幻觉注入测试集”。就是人工在真实对话摘要里改写3到5处错误，包括金额调换、日期错位、产品混淆、意图反转、责任主体乱挂，测试幻觉检测模块在这些刻意制造的脏数据上的召回能力。这个集子作用很大，因为在真实样本里幻觉率本来就不高，如果只用自然语料评测，你根本不知道检测模块是变聪明了还是只会输出全低风险。
评测指标上，摘要质量同时看三块：Rouge分数用于判断与参考摘要的文本相似度，事实一致性F1用后期标注判断关键槽位是否正确，幻觉检出率人工标注脏数据上的召回率。这三兄弟缺一块都会造成误判。网上很多框架Demo看着漂亮，就是因为只报了Rouge分，没测事实一致性。
3.2 模型选型与摘要提示词实战参数
模型选择上我是按照“底座模型＋微调小头”的组合来做，虽然整体方案上AUTOSUMM可以用不同底座，但我在项目中经过对比实测得出的结论是：直接用通用大模型做零样本摘要不稳，用一个小尺寸指令微调模型专门做抽取骨架效率更高，而生成润色环节用中大模型效果好。具体分工是：
- 抽取骨架模型：选择参数量约十亿级别的中文对话摘要模型，在银行数据上做指令微调，输出的是原文句子的索引列表和轻改写结果。
- 生成刷新模型：使用参数量更大的通用模型，输入是骨架句加槽位信息加原始对话截断片段，输出润色后的完整摘要。这里禁止使用小于临界参数的模型，实测小参数模型在推理和改写时特别容易丢失原文中的多重条件从句。
提示词模板我调试过很多版，核心结构稳定为五段：
你是银行客服对话摘要助手。你只能依据提供的对话内容进行总结，禁止编造任何对话中未出现的信息。 <对话记录> {truncated dialogue with round numbers} </对话记录> <事实骨架> {skeleton sentences extracted from dialogue} </事实骨架> <校验槽位> {key slots extracted from dialogue} </校验槽位> 要求： 1. 摘要控制在150字以内，分点输出。 2. 必须保留全部关键金额、日期、利率、期限、产品名。 3. 每条摘要句末尾标注依赖的对话轮次，格式为[轮次7]。 4. 如果事实骨架与对话冲突，以对话原文为准。 5. 不要补充原文未出现的客户意图或情绪推测。 6. 输出JSON格式，字段为summary_points和evidence_rounds。 <摘要>温度参数定在0到0.1之间，我用0.0跑日常，0.1跑业务变化较大的场景。有人觉得温度设0就没幻觉了，实测并不是，温度只是降低表达随机性，事实提取错误该犯还犯。关键还是骨架约束和质量检测。
上下文长度选择上，如果对话超过模型窗口上限，不能简单截头去尾。我采用的做法是按业务子阶段切分，例如“开场身份核实”“产品介绍”“风险揭示”“确认成交”各切一段，分段生成子摘要，最后再做聚合刷新。这样保住了每一段的末段信息，因为银行对话里承付款这类关键信息往往出现在子阶段的最后几句话。
3.3 幻觉检测实现的关键代码路径
写幻觉检测的时候，有两条代码路径必须精细处理。
第一条是槽位值溯源路径。摘要文本经过命名实体识别抽出金额和日期后，要到原文的轮次文本里去检索同值表达。但金额表达格式不统一，溯源前需要先做归一化。比如原文是“两万五”，摘要生成的最后文本可能是“25000”。实际实现里，溯源模块先把原文和摘要里的金额都转换为阿拉伯数字的浮点型，再进行比较。日期就统一转成年月日标准格式。这一步看着弱智，但偏偏是幻觉检出率提升最大的一个环节。数值归一化之后，金额不一致错误从漏检率很高降到几乎不漏。
第二条是自然语言蕴含模型的输入拼接。模型输入不能只扔“摘要句＋整个原文片段”，而是要拼上三个文档级特征：说话人角色、轮次编号、业务类型标签。比如“客户承诺还款”这句话，如果说话人角色标错成座席，蕴含模型就会失准。所以输入格式设计为：
[业务类型] 个贷催收 [说话人] 客户 [轮次] 第12轮 [原文片段] “我下个月15号之前肯定想办法处理一部分” [摘要句] “客户承诺下月15日前归还部分款项”这个带标签的拼接方式在实验里比纯文本二分类效果好不少，尤其对“承诺对象搞混”这类典型错误纠正明显。因为说话人信息直接把责任主体钉死，模型不需要从上下文里猜。
3.4 上线前的评测、压测和效果指标
一套框架做成之后不能直接搬上线，在准生产环境里至少要做三轮验证。
第一轮是回归测试。在一个固定测试集上跑全流程，把摘要输出和幻觉检测结果打包diff，看新增模块有没有破坏既有功能。这轮主要是抓手滑、格式错乱、JSON解析失败这类低级问题。
第二轮是业务方对齐。让质检团队、合规团队分别抽样打分。两个角色关注的指标不一样，质检更看重摘要是否覆盖了服务态度、解答准确性，合规更看重风险揭示要素和承诺记录。这个对齐过程会暴露很多技术团队注意不到的盲区。比如在一次对齐中，合规团队指出摘要里“座席未主动介绍冷静期”这种表述，需要标注成风险点而不是普通文本，技术团队才能回头改标注体系。
第三轮是压力与降级验证。模拟一天10万通的对话量峰值，看摘要服务的吞吐量和延迟。银行场景有个特点，晚高峰集中在某个时段，而且具有批次到达特性。如果纯通过增加推理单元应对峰值，负载会很高而且大部分时间空转。所以AUTOSUMM在架构上留了一个快速降级通道：触发限流后，优先保障风险终结录音的摘要，低优先级的普通咨询对话可以先走抽取式摘要，让大模型生成排队处理。
在实际效果上，我以某银行个贷催收场景的2000通脱敏对话做测试，关键槽位的事实一致性F1约0.93，幻觉检测模块在注入测试集上对金额类的召回率约0.97，对意图转移类的召回率约0.85。整体吞吐量在单张推理卡上单条对话摘要平均用时约2.1秒，感觉还有提升空间但已经够用。
4. 常见问题与排查技巧实录
4.1 摘要里的金额和原文对不上，怎么排查
金额错误是最容易直接引发投诉和合规事故的问题。排查时先区分错误类型。
第一步，看是“抽取错误”还是“改写错误”。所谓抽取错误，是指原文金额本身被识别错了，比如ASR把“3.5万”听成“3.8万”，这个属于前端识别问题，后端纯靠摘要引擎救不回来。所谓改写错误，是原文里写的是“两万五”，摘要里写成了“26000”或“2500”，属于生成器或数值规约的问题。
排查工具上，AUTOSUMM有一个独立的金额比对脚本，把对话原文、抽取结果、最终摘要三者拉平，自动标注不一致项。实际排查中发现，大多数金额错误不是生成模型大改数字，而是规约逻辑里的精度丢失。比如把“2.5万”解析成2500，或者把“三万二”里的“二”当作小数点后面的“2元”。这里正则表达式处理的优先级顺序很重要：先处理中文大写金额再处理阿拉伯数字，先处理完整单位再处理单片数字。
4.2 客户姓名或产品名被替换成同音字
这种错误太阴了，不算严格意义上的幻觉，但危害等同幻觉。客户说“我要买稳健型的那款产品”，ASR转写可能把产品名写成谐音词，摘要也跟着错。
排查时先看实体对齐模块。它会把摘要里的产品名和产品库里的标准名称做模糊匹配，匹配不上的自动标记为低置信度。这个环节建议留一个人工确认入口：质检员在碰到底置信度标签时，可以点进去看原文转写和声纹片段，自行判断是ASR错了还是客户口头表达就是那个说法。
实践中还发现一个规律，产品名的错误往往集中在冷门产品上。热门产品名在模型预训练数据里出现得多，不容易张冠李戴，冷门产品的名字一旦在ASR环节错了一个字，生成模型就会顺着错误继续发散。所以我在系统里维护了一个产品名白名单，所有摘要里的产品名先过白名单匹配，匹配不上的强制走预抽取替代路径，不让生成模型自由发挥。
4.3 长对话截断导致关键信息丢失
银行催收电话经常聊到二十几分钟，超过模型的上下文窗口。直接截尾是不可取的，因为客户往往在最后五分钟才松口。解决思路是在预处理阶段做“重要性引导的截断”，而不是整段切。
具体做法是：先做一个初步的抽取式扫描，把包含金额、日期、承诺意图、情绪转折的轮次标记为高重要度，然后在截断时优先保留这些轮次。比如一个900轮次的大对话，无法全量放进模型时，就抽出前200个高重要度轮次加最后20个轮次，拼接成一个精简版上下文。这个方法在多轮试探性对话上效果很好，关键槽位召回率比整段截尾提升约11个百分点。
另外建议保留对话转写的“角色反转”标记。客户突然抢话、座席被打断，这些位置往往是重要信息错位的高发区，截断时不要把这些部分优先扔出去。
4.4 多轮问答里客户意图漂移，摘要结论孤立看正确，串起来矛盾
催收对话里常出现这种情况：客户一开始说“下周二先还5000”，后面又改口“这礼拜资金没到账，要下下礼拜”。生成模型如果只看末段，可能会把摘要写成“客户承诺下下礼拜还款”，丢掉了中间改口的背景。这在单句事实性上没错，但在业务逻辑上不完整。
AUTOSUMM的跨轮次一致性模块处理了一半问题，剩下的需要在业务问答层做“呼应记录”。也就是意图骨架里要保留状态转移字段：
{ "original_promise": {"time": "下周二", "amount": "5000"}, "revised_promise": {"time": "下下礼拜", "amount": "5000"}, "change_reason": "客户资金未到账", "intent_direction": "还款意愿保持，时间后移" }质检员看到这个结构，就能知道客户不是反悔，而是因客观原因延期。如果摘要只给一行“客户下下礼拜还款”，后面贷后团队可能误判为失信记录，做出不必要的强硬跟进。
4.5 幻觉检测模块“过度拦截”，把好摘要也标红
幻觉检测模块上线初期很容易出现误伤——把真实正确的摘要判成高风险。这个问题在质检量大的时候会严重拖慢人工复核效率。
原因分析下来主要是蕴含模型训练集的负样本太少。真实对话中高风险幻觉的出现率本来就不高，模型没见过足够多“真阴性”和“真阳性”的边界样本，容易把“说话人角色与摘要主语的略微含糊”当成矛盾。解决办法是构造对抗样本，人工把一些原本一致的摘要改成稍微偏左或偏右的表达，比如把“客户同意”改成“客户默许”，让模型学会区分语用差异和事实矛盾。
如果误拦率依然高，可以调整风险等级阈值，把硬拦截改成软拦截。高风险句子不要直接吞掉，而是带着标记输出，让人工复核时优先看。银行场景宁可让人多花几秒复核，也不要把关键信息吞掉。
5. 框架落地过程中的心得与补充
整套AUTOSUMM做成之后，我最大的体会是：幻觉检测和摘要生成同等重要，甚至前者的优先级更高。
很多团队一上来就调摘要效果，Rouge分数刷得飞起，结果一上检测模块，输出的摘要被标记得千疮百孔，回头又要改摘要生成。我建议反过来，先把幻觉检测的基准线搭好，让每一条摘要都带着“证据卡片”，再去迭代生成模块。生成改一点，检测重新跑一遍，形成一个闭环，比两头各调各的效率高得多。
另一个经验是：自己的脱敏数据比什么都重要。用电商客服或政企热线的公开数据预训练模型，再迁移到银行，迁移成本比很多人想象的大。光是“双录话术”“风险测评”“冷静期”“提前赎回”这些术语的行为模式就够模型喝一壶。银行场景的东西必须拿银行场景的数据养。哪怕样本量只有几千条，只要真实、脱敏、标注准确，效果都比百万级的外部通用数据要好。
最后分享一个后续扩展的方向。AUTOSUMM现在主要处理的是文本转写，但银行电话里还有很多副语言信息没被利用，比如客户语速变化、停顿长短、情绪波动。这些信号对判断“客户承诺的坚定程度”很有用。后续如果能把声学特征和文本摘要做融合，意图状态的识别就更准了。这一块我还在做实验，等数据积累够了再回来细说。
