news 2026/7/12 19:38:39

真正的风险在于工作流安全而非模型安全

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
真正的风险在于工作流安全而非模型安全

随着AI副驾驶和智能助手被嵌入到日常工作中,安全团队仍然专注于保护模型本身。但最近的事件表明,更大的风险在别处:围绕这些模型的工作流程。

最近发现两个伪装成AI助手的Chrome扩展程序从90多万用户那里窃取了ChatGPT和DeepSeek的聊天数据。另外,研究人员演示了隐藏在代码库中的提示注入如何欺骗IBM的AI编程助手在开发者机器上执行恶意软件。

这两种攻击都没有破坏AI算法本身。它们利用的是AI运行的环境。这是值得关注的模式。当AI系统被嵌入到真正的业务流程中,总结文档、起草邮件、从内部工具提取数据时,仅仅保护模型是不够的。工作流程本身成为了攻击目标。

为了理解这为什么重要,我们来看看AI今天是如何被实际使用的:

现在企业依靠AI来连接应用程序和自动化过去手动完成的任务。AI写作助手可能从SharePoint提取机密文档并在邮件草稿中总结。销售聊天机器人可能交叉引用内部CRM记录来回答客户问题。这些场景都模糊了应用程序之间的边界,动态创建了新的集成路径。

风险在于智能体的运作方式。它们依靠概率决策而不是硬编码规则,基于模式和上下文生成输出。精心编写的输入可以诱导AI做设计者从未想过的事情,AI会遵从,因为它没有原生的信任边界概念。

这意味着攻击面包括模型接触到的每一个输入、输出和集成点。

当攻击者可以简单地操纵模型看到的上下文或它使用的通道时,攻击模型代码就变得不必要了。前面描述的事件说明了这一点:隐藏在代码库中的提示注入在日常任务中劫持AI行为,而恶意扩展程序则从AI对话中窃取数据,完全不需要接触模型。

这些工作流威胁暴露了传统安全的盲点。大多数传统防御都是为确定性软件、稳定的用户角色和清晰的边界而构建的。AI驱动的工作流打破了这三个假设。

大多数通用应用程序区分可信代码和不可信输入。AI模型不会。对它们来说一切都只是文本,所以隐藏在PDF中的恶意指令与合法命令看起来没有区别。传统的输入验证没有帮助,因为有效载荷不是恶意代码,它只是自然语言。

传统监控捕获明显的异常,如大量下载或可疑登录。但作为例行查询一部分读取千条记录的AI看起来像正常的服务对服务流量。如果数据被总结并发送给攻击者,技术上没有违反任何规则。

大多数通用安全策略指定允许或阻止的内容:不让这个用户访问那个文件,阻止到这个服务器的流量。但AI行为取决于上下文。你如何编写一个说"永远不要在输出中泄露客户数据"的规则?

安全程序依赖定期审查和固定配置,如季度审计或防火墙规则。AI工作流不会保持静态。集成可能在更新后获得新功能或连接到新数据源。等到季度审查时,令牌可能已经泄露了。

因此,更好的方法是将整个工作流视为要保护的对象,而不仅仅是模型。

首先了解AI实际在哪里被使用,从Microsoft 365 Copilot等官方工具到员工可能自己安装的浏览器扩展程序。了解每个系统可以访问什么数据以及可以执行什么操作。许多组织惊讶地发现整个业务中运行着数十个影子AI服务。

如果AI助手只用于内部总结,就限制它发送外部邮件。在输出离开你的环境之前扫描敏感数据。这些护栏应该存在于模型本身之外,在检查动作的中间件中。

像对待任何其他用户或服务一样对待智能体。如果AI只需要对一个系统的读取访问权限,不要给它对所有东西的全面访问权限。将OAuth令牌限制在所需的最小权限,并监控异常情况,如AI突然访问以前从未接触过的数据。

最后,教育用户关于未经审查的浏览器扩展程序或从未知来源复制提示的风险也很有用。在部署第三方插件之前进行审查,并将任何接触AI输入或输出的工具视为安全边界的一部分。

在实践中,手动完成所有这些工作无法扩展。这就是为什么出现了新的工具类别:动态SaaS安全平台。这些平台充当AI驱动工作流之上的实时护栏层,学习正常行为的样子并在出现异常时标记。

Reco是一个领先的例子。

如上所示,该平台为安全团队提供了整个组织AI使用情况的可见性,显示正在使用哪些生成式AI应用程序以及它们如何连接。从那里,你可以在工作流级别实施护栏,实时捕获风险行为,并在不减慢业务速度的情况下保持控制。

申请演示:开始使用Reco。

Q&A

Q1:为什么传统安全防护在AI工作流中会失效?

A:传统安全防护是为确定性软件、稳定用户角色和清晰边界设计的,而AI工作流打破了这三个假设。AI模型无法区分可信代码和不可信输入,一切都只是文本;AI读取大量数据看起来像正常流量,难以被传统监控发现;AI行为依赖上下文,难以用固定规则管控。

Q2:AI工作流安全威胁主要来自哪里?

A:威胁主要来自工作流程本身而非模型算法。攻击者通过恶意浏览器扩展窃取AI对话数据,或在代码库中隐藏提示注入来劫持AI行为。由于AI依靠概率决策,精心编写的输入可以诱导AI执行设计者未预期的操作,攻击面包括模型接触的每个输入、输出和集成点。

Q3:如何建立有效的AI工作流安全防护?

A:需要将整个工作流视为保护对象。首先盘点所有AI使用情况,包括官方工具和影子AI服务;设置工作流级别的护栏,如限制AI的外部通信能力;采用最小权限原则管理AI访问权限;教育用户识别风险;部署动态SaaS安全平台作为实时护栏层。


版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/10 21:30:04

IDM插件开发创意赛

引言IDM(Internet Download Manager)插件开发的意义与价值创意赛的背景与目标参赛者的技术门槛与预期成果IDM插件开发基础www.yunshengzx.comIDM插件架构与核心功能开发环境配置(工具链、SDK、文档资源)插件与IDM的交互机制&#…

作者头像 李华
网站建设 2026/6/26 16:40:07

Claude Code 在 Windows 下的 nul 文件问题解决方案

前言 如果你在 Windows 上使用 Claude Code,可能会遇到一个奇怪的现象:项目目录里莫名其妙出现一个名为 nul 的文件,而且在资源管理器里怎么都删不掉,就像"幽灵文件"一样。 今天分享一篇来自 LINUX DO 论坛用户 tzcbz 的技术文章,深入分析了这个问题的根本原因,并提…

作者头像 李华
网站建设 2026/6/30 16:35:17

瑞芯微(EASY EAI)RV1126B 车辆检测

1. 车辆检测简介 车辆检测是一种基于深度学习的对人进行检测定位的目标检测,能广泛的用于园区管理、交通分析等多种场景,是违停识别、堵车识别、车流统计等多种算法的基石算法。 本车辆检测算法在数据集表现如下所示: 基于EASY-EAI-Nano-TB…

作者头像 李华
网站建设 2026/7/4 4:25:19

2025年华东师范大学计算机考研复试机试真题(解题思路 + AC 代码)

2025年华东师范大学计算机考研复试机试真题 2025年华东师范大学计算机考研复试上机真题 历年华东师范大学计算机考研复试上机真题 历年华东师范大学计算机考研复试机试真题 更多学校完整题目开源地址:https://gitcode.com/u014339447/pgcode 百度一下pgcode 即…

作者头像 李华
网站建设 2026/6/26 16:40:09

2025年南京理工大学计算机考研复试机试真题(解题思路 + AC 代码)

2025年南京理工大学计算机考研复试机试真题 2025年南京理工大学计算机考研复试上机真题 历年南京理工大学计算机考研复试上机真题 历年南京理工大学计算机考研复试机试真题 更多学校完整题目开源地址:https://gitcode.com/u014339447/pgcode 百度一下pgcode 即…

作者头像 李华
网站建设 2026/7/8 23:45:31

高比例清洁能源接入下计及需求响应的配电网重构Matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。 🍎 往期回顾关注个人主页:Matlab科研工作室 👇 关注我领取海量matlab电子书和数学建模资料 &#…

作者头像 李华