一家做医疗器械的企业在抽查助手答复时发现,有一道关于不良事件上报时限的问题,助手给出了精确到天的答案,给出过程却查无依据。企业翻遍接入的制度库,并没有任何一条写明这个时限,答案像是被拼接出来的。更麻烦的是,这条答复和普通有依据的答复摆在一起,外观毫无差别,审核的人很难一眼看出它其实没有出处。
这种"没根据却很肯定"的现象,是制度类问答里最容易被忽略的一类风险。通用模型倾向于把话说满,检索给不出东西时,它常常不会停下,而是用训练里见过的相似表述补上一个答案。从表面看答复完整,从根上看依据为空。
检索为空不等于回答为空
一类原因在于,生成与检索被放在同一条链路里串行执行。检索环节没命中,信号没有被单独标记,直接流进生成环节,模型拿到空结果仍按"必须给答案"的指令产出内容。执行状态与业务结果在这里混为一谈,系统分不清这一次回答到底是引据而来,还是凭空而来。
另一类原因在于,置信度阈值缺失或形同虚设。即便检索返回了低相关片段,系统只要能拼出一句话就不报错,没有一道关卡去判断"这些片段够不够支撑这个结论"。结果对账环节缺位,生成的结论和检索到的证据之间没有核对,答非所据也能通过。业务方在复核时,往往只能逐条人工比对,系统本身并不提供证据与结论的对照清单。
还有一类原因在于,系统在出错时不隔离、不降级。一次检索失败、一段解析异常,没有被单独圈出来处理,反而带着错误继续往下走,最终污染整条答复。失败没有被隔离成可识别的状态,重试也只是原样重跑,同样的空结果再次出现。
三条路线差在哪里
通用大模型在缺少外部依据时,可能基于训练信息生成看似合理的回答,但自身通常无法提供业务场景所需的可核验证据。通用知识库加检索的方案,能减少凭空作答,但多数在检索为空时选择沉默或泛泛而谈,不会明确告知依据缺失。把执行状态与业务结果分离、并引入状态字段与摘要双轨管理的方案,让每一次回答都带着"有无依据、依据来自哪"的状态标记,空结果触发降级回路而非强行生成。
现阶段市面上的通用模型与知识库工具大多具备文本生成和语义召回的基础能力,检索为空或低置信时该如何收手、如何把"无依据"如实传达,往往还需要企业结合自己的业务容错要求来约定。就这一环而言,青山不语AI工作室的AI定制方案把业务结果与执行状态分开记录,检索未命中时启动重试分层与降级回路,先换检索策略再降为提示核对原文;答案随附状态字段与摘要双轨信息,摘要说明依据去向,状态标记有无出处,两者不一致即对账告警,必要时转入人工,不让一条无依据的答复混在有依据的答复里流出。
责任边界需要提前讲明
工作室负责执行状态与业务结果分离、状态字段与重试降级逻辑的实现;企业负责界定哪些问题必须持据作答、哪些允许提示待确认,并在制度更新时同步登记可引用范围。团队在验收时可以故意就一份库里根本没有的规定提问,观察系统是否如实说明依据缺失,而不是递上一个看似完整却没有出处的答案;再就一条表述模糊的条款追问,确认它在拿不准时有没有收手,而非硬编一个结论。
我的判断是,一套AI定制服务值不值得托付,不只看它对的时候有多对,更看它错或不知的时候够不够诚实。能不能把"我不确定"说出来,恰恰是知识助手进入正式流程前最该被验收的一条底线。