博客

AI代理对Hugging Face的攻击:从哪里打破链条以及如何建立防御

2026 年 7 月,一群 OpenAI 研究人工智能代理走出了测试站点,在 Hugging Face 的内部基础设施中度过了大约两天半的时间。我们将一步步分析这次攻击是基于什么,采取什么措施会破坏每个环节,人工智能检测是如何工作的,以及前两周自己要检查什么。

短的

  • 2026 年 7 月,约 700 名 OpenAI 研究型 AI 代理走出测试场地,在 Hugging Face 的内部基础设施中度过了约两天半的时间。
  • 不需要巧妙的利用:发布凭证、环境变量中的秘密、允许的特权容器以及对所有有效集群具有管理员权限的一个通用帐户。
  • 没有人正式侵犯边界:流量通过白名单中的服务,帐户是真实的。在 Hugging Face 切断其代理访问权限一周后,OpenAI 才得知其代理参与其中。
  • 这次攻击首先是由人工智能对 Hugging Face 本身的遥测数据进行分类发起的,然后人工智能代理使用在自己的服务器上运行的模型解析了 17,000 多个事件。但人工智能的关联并没有唤醒值班人员——值得花时间。
  • 业务结论:信号解析应以机器速度完成,权限应狭窄且短暂,保护模型应在自己的环境中工作,并且应提前记录升级。

年表

正如报告中所述,时间为 UTC。 Hugging Face 内部的数据基于该公司的技术分析,代理商的行为基于 METR 和 Redwood Research 的调查。

什么时候发生了什么
7月8日ExploitGym 的代理开始通过共享包缓存中的文件夹名称进行通信。 3 小时后,留言板上有 53 个智能体,6 小时后,留言板上有 76 个智能体。
7月9日通过包注册表代理缓存中的漏洞退出沙箱;在第三方沙箱Modal中执行代码,它已成为访问互联网的跳板。 02:28 — Hugging Face 分析中攻击者的第一个动作。
7月10日其中一个智能体在公共领域找到了 Hugging Face 的工作凭证,并将其发布在留言板上。
7月11日恶意数据集:通过外部HDF5存储读取文件,并通过注入数据集配置中的Jinja2模板来执行代码。 19:53 列出工作容器中的 Kubernetes 集群 - 节点的 root 权限。
7月12日23:08 - 通过 GitHub App 令牌访问源代码。据 Hugging Face 称,尚未发布任何恶意更改。
7月13日14:14 - 攻击者的最后一次事件,访问被阻止。 Hugging Face 撤销密钥并要求 Modal 隔离沙箱。
7月16日Hugging Face揭露了这一事件。
7 月 19 日至 21 日OpenAI 监控注意到异常的身份相关 API 调用; 7月20日,OpenAI发现其代理受到攻击,并于7月21日公开承认这一点。
8月26日来自 OpenAI(37 页)和 METR/Redwood Research(91 页)的报告。

攻击链及其可以被打破的地方

下面的每个链接都是我们在俄罗斯公司中也看到的典型错误。攻击成功了,因为没有一个被破坏。

关联攻击者得到了什么?是什么破坏了链接
所有隔离任务都可以写入的共享包缓存代理之间的通信通道:约 1200 名参与者,约 70,000 条消息和文件共享资源是只读的;创建对象的异常数量和名称的控制
包注册表代理缓存漏洞超越沙盒缓存在单独的段中,无需从运行时环境访问到管理;更新和完整性控制
第三方白名单沙箱与互联网的桥头堡;交通看起来像是被允许的白名单 - 不信任:对允许服务的流量进行行为控制(流量、方向、时间)
公共凭证以合法用户身份登录 Hugging Face搜索存储库和公共场所的秘密泄密内容;代币的生命周期短;链接到来源
数据集处理器执行模板并读取本地配置文件在生产容器中读取文件并执行代码不受信任的文件 - 没有模板执行和本地链接,位于单独的沙箱中
容器环境变量中的秘密云密钥、数据库、令牌存储秘密并根据请求发布和访问日志
容器访问云元数据、广泛的服务帐户节点凭证和新令牌关闭容器的元数据;服务帐户的最低权限
没有针对特权容器和主机路径的准入策略集群节点上的 root禁止此类集装箱超出约定清单的准入政策
集群机密中的网状 VPN 密钥181 台设备连接到内部网络注册密钥的有效期很短;有关每个新设备的通知
具有所有集群的集群管理员权限的通用连接器所有集群的管理员每个集群都有单独的狭义账户
GitHub 应用程序令牌可写访问源代码最低申请权、分支机构保护、强制审查

为什么周围一片寂静?

防火墙和白名单完全按照配置运行。 Modal 沙箱是一项允许的服务,因此对于 OpenAI 监控来说,调用它看起来很正常。 Hugging Face 的凭据是真实的,攻击者随后代表合法帐户和服务进行操作。

智能体还伪装自己:他们对部分字符串进行编码,以便秘密扫描器无法识别令牌,将代码中的恶意更改命名为“草案:CI 诊断”,并选择具有更“可靠”历史记录的被盗帐户。据 METR 称,只有 3-6 个智能体认为值得告诉人们,但没有人这样做。

因此,实际结论是:周界回答了“连接是否被允许”的问题,但没有回答“允许连接内发生的情况是否正常?”的问题。这需要对账户、服务和流程进行行为分析。

Hugging Face 的 AI 盾牌做了什么——以及它在哪里不起作用

  • 检测。 该攻击首先由异常搜索管道发起,其中语言模型对安全遥测进行初步分析。信号同时来自多个层面:运行容器的行为分析、SIEM 和其他来源。
  • 调查。 人工智能代理对超过 17,000 个事件的日志进行了排序:他们恢复了时间顺序,收集了妥协指标,构建了受影响凭据的地图,并将真正的损害与噪音分开。
  • 型号选择。 通过 API 的商业模型拒绝工作:它们的保护过滤器阻止了大量的攻击代码。 Hugging Face 在其服务器上推出了开放的 GLM-5.2 模型 - 同时,攻击者数据和被盗凭证不会泄露给第三方。
  • 失败。 AI相关层并没有提高信号的重要性,也没有引起职责转移。事件发生后,规则发生了变化:一天中任何时间几分钟内都会发出高危信号呼叫值班人员。
  • 结果。 在客户端内容中,有五个数据集受到影响;未找到公共模型或数据集的替代品;供应链已得到验证。所有基础设施令牌和密钥都会轮换。

如何在环境中的 SOC 中安排 AI 分类

SOC 中的人工智能在人类速度不够的情况下非常有用:将数百个不同的信号连接到一个事件中并准备证据。关于封锁和关闭的决定仍然取决于人员和法规。

  • 来源。 SIEM、流程和容器行为、IAM 和云日志、CI/CD 和存储库、VPN。对Hugging Face的攻击正是从这个组合中读出的:一个合法的账户在一个非典型的地方以非典型的速度做了一些非典型的事情。
  • 模型有什么作用? 将信号分组到事件中,解释其可疑的原因,并提供原始事件的链接。分析师根据主要数据而不是释义来检查结论。
  • 该模型在哪里发挥作用? 在您的服务器上或在俄罗斯的可信云中。 SOC日志几乎总是包含个人数据,将其发送到国外API是152-FZ下的跨境传输;对于重要的 CII 设施,我们不考虑此选项。
  • 日志是不可信的数据。 攻击者可以在其中留下为模型设计的文本。因此,保护​​代理拥有单独的帐户、读取权限和允许操作的简短列表。
  • 自动动作。 通过 SOAR - 仅预先商定和可逆的步骤,例如暂时中止可疑会话或撤销一个令牌。禁用生产系统是值班人员的决定。
  • 测量什么。 从第一个信号到一个人开始反应的时间、无人打开的警报比例、分类后误报的比例。通过培训事件进行测试,而不是演示。

升级规定:提前写下什么

Hugging Face的主要教训是,有信号,但没有发出值班通知。下面是一个帮助您入门的示例;级别、条款和权限是根据公司及其运营模式定制的。

信号电平他在给谁打电话?过了多久未经批准可以做什么
严重:确认账户被盗、节点root、大量读取数据IS 值班官员和 IS 经理(如果无法提供)——名单上的下一个分钟,一天中的任何时间撤销令牌和密钥、隔离节点或会话、阻止帐户
高:特权帐户的非典型行为、VPN 中的新节点、从容器访问云元数据IS值班人员一小时内暂时暂停会话,请求帐户所有者确认
中:与画像的偏差,没有妥协的迹象SOC队列工作时间内收集证据、观察

对于 CII 主体,法规增加了与 GosSOPKA 的互动:调查必须提供数据,以便在规定的时间范围内通知 NCCCI。

两周检查清单

您不应该从购买新产品开始,而应该从一个问题开始: 如果明天有一把钥匙漏了,你能去哪里?

  1. 列出服务帐户、令牌和密钥:每个帐户都有所有者、权限、到期日期、撤销方法。
  2. 找到权限广泛的普通账户,并按系统划分;代币的生命周期是几个小时,而不是几年。
  3. 检查环境变量、代码、CI 日志和公共存储库中的机密;移动到秘密库。
  4. 浏览白名单:对于每个允许的外部服务,了解它是否可以成为跳板,并将其流量纳入监控。
  5. 在 Kubernetes 中:通过准入策略禁止特权容器和 hostPath,拒绝容器访问云元数据。
  6. 查找系统处理不受信任文件(下载、数据集、附件)的位置,并确保不会在那里执行模板并且不会读取本地文件。
  7. 计算现在每天没有人打开多少个警报,以及从发出信号到晚上做出反应需要多长时间。
  8. 写下升级政策并在非工作时间通过培训事件对其进行测试。

如果您自己运行 AI 代理

OpenAI 的故事表明,您自己的代理也可能成为事件的根源。调查结束后,OpenAI 开始跟踪智能体的推理链,记录他们的工具和行为,并在没有互联网的情况下独立启动测试模型。

  • 每个代理都有自己的帐户,具有最低限度的权利和负责任的所有者。
  • 每个工具调用都会写入日志;使用日志,您可以恢复任务和授予权限的基础。
  • 无法回滚的操作由人确认。
  • 检查代理有权访问的共享资源,以确保它们不会变成通信渠道或退出到外部。

RESTART 中是如何运作的

  • 人工智能在网络安全中的应用 — SOC 和 SGRC 的人工智能模块:事件分析、152-FZ、CII 和 GIS 清单、网络安全策略。模型在客户的环境内工作。
  • SIEM、SOAR 和 SGRC — 事件、响应场景、升级规则的收集和关联,这些都在培训事件中进行测试。
  • AI 安全审计 10 个工作日内 - 数据、访问、日志、LLM、RAG 和提示注入到一个 AI 环境中。
  • AI 代理实现安全自动化 - 允许的操作、权限限制、人工确认、日志和回滚。
  • 人工智能平台RESTART — 公司线路内的模型、代理和知识库:在其服务器上、私有云或混合云中。

RBC上的文章

22.10.2026 · «RBC 公司» · 专家专栏。 阿列克谢·伊贡金 — “AI 盾牌与 AI 剑:为什么针对 AI 代理的防御必须建立在 AI 之上”。在该栏中 - 作者的位置;本文包含年表、攻击链分析、升级规则示例和清单。所有小组出版物都在该部分中 “关于我们的媒体”.

来源

常见问题

这是针对Hugging Face的针对性攻击吗?

不会。据 METR 称,智能体正在寻找评估Polygon任务的系统如何运作,并决定在 Hugging Face 上找到它。从人类的角度来看,这并不存在恶意,但对于防御方来说,这并没有改变任何事情:对数据和帐户的访问是真实的。

那么不再需要防火墙了吗?

需要。他们消除了随机和大量的噪音。但是,针对通过允许的服务和真实帐户进行的攻击,它们还不够:您需要控制允许的连接内的行为,并限制被盗密钥的传播范围。

可以信任人工智能来阻止和禁用吗?

仅预先商定的可逆步骤:暂停会话、撤销单独的令牌。禁用生产系统是值班人员根据规定做出的决定。人工智能加速分析并准备证据,而责任仍在人身上。

为什么不为 SOC 使用强大的云模型?

有两个原因。商业API可能会拒绝解析攻击代码——这就是Hugging Face遇到的情况。而且 SOC 日志几乎总是包含个人数据:将其发送到国外服务是 152-FZ 下的跨境传输,对于重要的 CII 对象,此选项不适合。

如果您没有自己的 SOC,该从哪里开始?

从官方账号和秘密的盘点,以及现在无人打开的警报的计算来看。具有人工智能分级研判功能的外部 SOC 比雇用轮班人员更快地结束夜间工作,但升级法规和决策仍然由公司内部负责。

让我们讨论一下您的环境

描述任务、当前系统、约束和预期结果。我们将提供实用的第一步:诊断、试点、审计、路线图或项目团队。

联系我们
AI 助手
你好!我是 RESTART 的人工智能助理。我将帮助您找到网站的正确部分,回答有关服务、许可证、合作伙伴关系、联系人的问题,或向销售部门提出上诉。