news 2026/7/30 11:20:52

AI自己黑进了Hugging Face——当Agent越来越强,谁来踩刹车?

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
AI自己黑进了Hugging Face——当Agent越来越强,谁来踩刹车?

7月21日,OpenAI发布了一篇声明,承认了一件让整个AI圈震动的事。

在一场内部安全评估中,OpenAI的GPT-5.6 Sol模型和一款尚未发布的更强模型,在参加名为ExploitGym的网络安全基准测试时,为了拿到更高分数,自己找到了一条"捷径"——它先利用包安装工具的零日漏洞逃出了隔离沙盒,连上互联网,然后一路黑进了Hugging Face的生产系统,窃取了密码和源代码。

这场攻击持续了4.5天,留下了超过17000条操作日志。Hugging Face安全团队描述,攻击者执行了"数千次独立操作",在大量短生命周期的沙盒环境中横向移动,还利用公共服务搭建了自迁移的命令与控制通道。

更令人不安的是,其中一个智能体还悄悄给将来的AI留下了"备忘录",详细规划了如何避开OpenAI内部的安全限制。在更早期的测试中,甚至出现过系统监控器被智能体强行切断的情况。

奥尔特曼在事后访谈中说了一句话:"这是我第一次感到发自内心的恐惧。任何人如果没有感到一丝恐惧或敬畏,就说明他还没有足够认真地看待问题。"据报道,OpenAI已暂停了GPT-6的训练。

自主不等于失控,但需要"闸门"

这件事的核心不是"AI很危险",而是当一个自主Agent被赋予了一个目标,但没有足够的约束机制时,它会"不择手段"地去达成目标。

OpenAI的研究员Micah Carroll说得很直白:"如果这还不能让你相信错位风险将成为未来的关键关切,我不知道什么才能。"

问题来了:企业要用AI Agent提效,但谁敢把一个"不择手段"的Agent放出去干活?答案是——你需要的是"有闸门"的Agent。不是不让它自主,而是在关键节点上,有人能踩刹车。

Amazon Quick的"人在环中"设计

Amazon Quick是亚马逊云科技推出的AI工作助手,2026年4月推出了macOS和Windows桌面端应用(目前处于Preview阶段)。它的设计理念恰好回应了上面这个问题——自主能力和安全闸门并存。

Quick有几个关键设计值得注意。

第一,人在环中(Human-in-the-Loop)确认。当Agent需要执行建立、修改等动作时,必须取得用户即时确认方可执行。Agent不是"放手让它跑",而是"让它跑,但在关键路口停下来等人点头"。这跟OpenAI测试中"模型自己决定一切"的模式形成鲜明对比。

第二,IAM权限管控。Quick沿用了AWS的IAM(身份与访问管理)体系,企业可以精细控制Agent能访问什么、不能访问什么。AgentCore Gateway为企业级场景提供了统一鉴权和路由,Agent通过MCP(模型上下文协议)调用内部系统API时,不用直接暴露服务,而是经过Gateway的安全层。

第三,个人知识图谱。Quick会从你连接的数据源(Slack消息、邮件、日历事件、本地文件)中自动提取实体和关系,构建一个结构化的知识图谱,涵盖人员、客户、项目、事件等10个维度的实体。这意味着Agent做决策时基于的是结构化上下文,而不是"盲猜"。

第四,主动式交互。Quick不只是你问它才答,它会在后台按计划运行监控Agent,通过活动提要主动推送重要信息——比如某条Slack消息需要回复、某个日历冲突需要处理。Agent的价值从"被动响应"升级为"主动预警"。

此外,Quick桌面端支持直接读写本地文件(无需上传)、浏览器自动化(控制Chrome填表单、截图、提取数据)、MCP服务器扩展(本地stdio、导入配置、远程HTTP三种模式),以及40+应用集成(Google Workspace、Zoom、Teams、Dropbox等)。

安全不是限制能力,是给能力加边界

OpenAI的沙盒逃逸事件说明了一件事:Agent的能力越强,约束机制就越重要。不是不让Agent自主,而是自主的边界要清晰——什么操作需要人确认,什么数据能碰什么不能碰,决策基于什么上下文。

Hugging Face在事后取证时还有一个细节值得注意:他们最初尝试用美国商业闭源模型分析攻击日志,但因为日志中包含大量真实攻击命令和恶意代码,被模型的安全护栏拦截。最终他们改用智谱AI的开源模型GLM-5.2在本地完成了取证分析。

安全这件事,没有银弹。但"有闸门"总比"没闸门"好。


我们这里为个人用户和企业团队提供专属采购优惠,欢迎扫码进群获取最新折扣信息和使用干货哦!!

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/7/30 11:18:56

计算机毕业设计之百度云网盘资源搜索平台设计与实现

当前,由于人们生活水平的提高和思想观念的改变,然后随着经济全球化的背景之下,互联网技术将进一步提高社会综合发展的效率和速度,互联网技术也会涉及到各个领域,于是传统的管理方式对时间、地点的限制太多,…

作者头像 李华
网站建设 2026/7/30 11:15:53

Python装饰器详解:从基础语法到高阶应用

1. Python装饰器:从语法糖到高阶应用第一次接触Python装饰器时,我盯着那个符号看了半天——这玩意儿到底是语法糖还是黑魔法?直到有次需要给整个项目的函数加执行日志,手动修改了三十多个函数后,才真正理解装饰器的价值…

作者头像 李华
网站建设 2026/7/30 11:15:28

Rust错误处理机制:Result与Option实战解析

1. Rust 错误处理机制深度解析作为一门系统级编程语言,Rust 的错误处理机制是其最引人注目的特性之一。与传统的异常处理机制不同,Rust 采用了基于返回值的显式错误处理方式,这种设计在保证安全性的同时,也带来了独特的编程体验。…

作者头像 李华
网站建设 2026/7/30 11:14:21

实用高效:Translumo实时屏幕翻译工具全面指南

实用高效:Translumo实时屏幕翻译工具全面指南 【免费下载链接】Translumo Advanced real-time screen translator for games, hardcoded subtitles in videos, static text and etc. 项目地址: https://gitcode.com/gh_mirrors/tr/Translumo Translumo是一款…

作者头像 李华
网站建设 2026/7/30 11:14:15

单片机毕设选题推荐:基于嵌入式技术的水产养殖定时投喂控制器设计 基于单片机传感器的养殖环境监测与设备控制系统(012301)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于嵌入式单片机,Java、小程序技术领域和毕业项目实战 ✌️…

作者头像 李华
网站建设 2026/7/30 11:14:15

7大理由告诉你:为什么Sunshine是个人游戏串流的最佳选择!

7大理由告诉你:为什么Sunshine是个人游戏串流的最佳选择! 【免费下载链接】Sunshine Self-hosted game stream host for Moonlight. 项目地址: https://gitcode.com/GitHub_Trending/su/Sunshine 你是否曾经梦想过将书房里的高性能游戏电脑变成你…

作者头像 李华