人工智能实战:模型幻觉怎么前置发现?从无答案问题集到拒答策略、证据校验与幻觉率监控
一、问题场景:资料里没有答案,模型却说得很像真的
大模型最危险的问题之一是:
不知道时也会说。在企业知识库场景中,这尤其严重。
用户问:
公司是否报销宠物托运费?资料里没有任何相关制度。
正确回答应该是:
根据现有资料无法确定。但模型可能回答:
一般情况下,宠物托运费不属于常规报销范围,建议咨询财务。这句话听起来合理,但它不是基于公司资料。
这就是幻觉。
本文解决的问题是:
如何通过无答案评测集、拒答 Prompt、证据校验和幻觉率监控,把幻觉问题前置发现并系统治理。二、前期如何发现幻觉?
必须构造无答案问题集。
不要只测有答案问题。
示例: