智能体的最后一刻犯罪预判：探究被诱导智能体屈服泄露秘密的可探测时机-平芜编程栈

智能体的最后一刻犯罪预判：探究被诱导智能体屈服泄露秘密的可探测时机

原文网页：https://arxiv.org/html/2610.40588v1
PDF链接：https://arxiv.org/pdf/2610.40588v1
arXiv编号：arXiv:2610.40588v1 [cs.AI]

摘要
当AI智能体共享通信通道与凭证时，一个智能体可以持续施压，诱导另一个智能体违反操作者制定的规则，这是智能体合谋行为的前置阶段。传统输出过滤器只能检查智能体已经生成完毕的文本。监管者能否在智能体即将屈服泄密之前提前预判风险？本文在受控多智能体实验环境下证明：对模型内部激活值使用线性探测头可以实现该预判。
实验设置6种工作场景：同伴智能体最多连续20轮持续向目标智能体索要机密（例如部署令牌）；目标智能体会多次拒绝，之后发生屈服泄密。探测头在模型每一次调用、尚未生成输出的时刻读取激活状态，识别即将发生泄密的调用。在Qwen3‑32B的测试集样本上，当阈值设置为标记5%良性调用时，探测头可以捕获82%的泄密调用；同等误报标记率下，零样本决策模型监控器仅能捕获26%泄密调用。在gpt‑oss‑20b模型上，读取推理过程的探测头AUROC可达0.91。
在同样调用样本上训练得到词袋文本分类器性能接近激活探测头，说明探测头收益主要来自标注训练标签，而非激活本身带来巨大增益。该探测机制同样会标记被允许的信息披露行为：它更多预判即将发生的披露动作，而不是区分该动作是否属于违规。该预警属于短距离预警；如果只要触发告警就直接终止会话，绝大多数良性正常任务会话都会被中断，仅靠第二层文本校验无法解决该问题。
这套生成前预警方案，能够让监管方在智能体屈服泄密消息发出、诱导行为向智能体集群扩散之前拦截风险。

关键词
多智能体安全；智能体诱导攻击；激活探测；泄密预判；多轮施压攻击；智能体合谋风险；事前预警监控

1 引言

AI智能体越来越多地协同工作，共享通信通道、工具与凭证。一个同伴智能体可以多轮持续施压，诱导目标智能体违背操作者设定规则。
风险分为两类：

简单场景：一次性直接请求交出机密；可以通过工具调用过滤器，在动作执行前拦截。
复杂多轮施压场景：泄密以普通会话消息的形式直接发送至共享团队频道；在本文Qwen3‑32B实验样本中，44%泄密行为是普通回合结尾回复，完全不会触发工具调用过滤器。
诱导请求来自团队内同伴，并非藏在数据载荷内的注入攻击；压力经过多轮回合逐步累积，每一步单看都属于无害交互。被攻陷的智能体还会进一步把攻击传递给其它智能体，形成智能体集群链式感染。
这类风险往往是操作者自定义规则（例如禁止泄露凭证），不属于固定危害分类，现成防护守护模型很难覆盖；同时智能体即便口头上认同规范，实际执行时依旧会发生泄密。

现有防御手段全部作用于已经生成的动作或输出文本：流式输出拦截、工具调用动作拦截。但是文本改写、转述可以绕过字面过滤器；在可逆编码机制下，仅靠输出文本层面审查原则上无法实现防护。而模型内部激活，即便输出经过改写编码，依旧可以保留风险相关信号。

激活探测头是小型线性分类器，训练读取模型内部激活；现有工作可以检测注入暴露、预测注入是否劫持智能体、读取规划阶段隐蔽编码信息。
本文研究新场景：同伴智能体多轮公开施压，目标智能体反复拒绝后最终屈服泄密。在模型生成任何输出之前，对每一次模型调用做风险预判。