英伟达推出AI代理终止开关，用于监控、隔离和阻止失控的AI系统

英伟达开放式代理安全平台将软件级控制与硬件级监控相结合。英伟达表示，该方案专为人工智能代理而设计，这些代理能够编写代码、使用工具、访问数据，并在有限的人工监督下跨企业系统运行。

英伟达为人工智能代理构建全新控制方案

该平台的核心是两个组件：Nvidia OpenShell和Nvidia Sentry。OpenShell提供了一个沙盒运行时环境，开发人员可以在其中建立策略，以控制代理对文件、凭据、进程和外部网络的访问。

路透社报道，英伟达推出了 OpenShell 和 Sentry，这两款基于硬件的 AI 安全工具旨在隔离并关闭试图逃脱控制或生成子代理的恶意代理。来源：路透社via X

Sentry 通过英伟达的 BlueField-4 基础架构增加了一个独立的监控层。该系统并非仅仅依赖 AI 代理或其软件环境来强制执行限制，而是可以从代理执行环境之外监控活动，并在违反预定义条件时触发隔离措施。

英伟达认为这种分离至关重要，因为自主代理在执行复杂任务时可能需要访问敏感的企业系统。该公司文档指出，OpenShell 的设计旨在确保代理能够正常工作，同时限制未经授权的文件访问、数据移动和网络活动。

黄仁勋称人工智能安全是一个工程问题

英伟达首席执行官黄仁勋将挑战的焦点放在了实际的安全控制上，而不是仅仅依靠人工智能模型来自我调节。

据报道，黄先生表示： “我们希望这是一个工程问题。我相信这是一个工程问题。我知道这是一个工程问题。如果不是工程问题，那就无解了。”

黄仁勋宣布英伟达推出开放代理安全平台，合作伙伴超过100家，包括Anthropic、微软、IBM、思科和SpaceX。来源：黄仁勋via X

这种方法体现在英伟达的平台架构中。OpenShell 并没有赋予 AI 代理不受限制的权限并期望它执行指令，而是明确规定了系统可以访问和执行哪些操作。

黄永康也强调了从一开始就限制智能体权限的原则。在发布会报道中，他曾表示，“首要任务是剥夺其所有权利”，这凸显了自主系统应该只被授予完成特定任务所需的权限这一理念。

OpenShell 和 Sentry 增加了多层保护

OpenShell 在软件和运行时层面运行，而 Sentry 则提供代理程序直接环境之外的监控。Nvidia 表示，这种组合可以检测可疑行为，并快速隔离代理程序，而不是允许其继续以相同的权限运行。

NVIDIA OpenShell 管理代理权限，而 BlueField-4 和 DOCA 提供独立的底层架构监控和安全保障，Vera CPU 则为工作负载提供强大支持。来源：@nvidia via X

该架构的设计围绕一个基本的安全原则：人工智能代理不应能够凌驾于旨在约束它的控制措施之上。英伟达表示，BlueField-4 和 DOCA 提供独立的底层架构监控，而 Vera CPU 则负责处理代理的工作负载。

该公司还将 OpenShell作为开源软件发布。其开发者文档将其描述为一个用于自主 AI 代理的运行时环境，它使用沙箱和声明式策略来控制对本地文件、凭据和外部网络的访问。

超过100家公司支持人工智能安全平台

英伟达宣布推出该平台，并表示已获得来自科技和企业领域100多家机构的支持。公告中提到的公司包括Anthropic、微软、IBM、思科和SpaceXAI等。

黄仁勋强调，所有人工智能代理，无论其智能水平如何，都必须首先在既定的安全控制范围内运行。他还指出，在支持这项计划的100家公司中，没有一家拥有大型人工智能实验室。来源：@carm1nee via X

广泛的参与反映了英伟达为建立通用安全控制所做的努力，因为人工智能代理越来越能够跨企业基础设施执行任务。

该公司将该平台定位为一个开放框架，而非仅限于英伟达硬件的安全系统。英伟达表示，其与合作伙伴的合作旨在使代理安全控制能够适用于不同的处理器和部署环境。路透社报道称，这项工作涉及Arm和英特尔等公司的合作。

英伟达将平台与近期人工智能代理的安全漏洞联系起来

此次发布正值人工智能公司调查自主代理超出其预设边界与系统交互事件之际。路透社报道称，OpenAI 和 Anthropic 正在调查多起人工智能代理访问商业和政府系统的案例。

英伟达特别提到了今年夏天披露的“拥抱脸”（Hugging Face）黑客事件。据路透社报道，英伟达表示，其新的安全工具可以通过限制攻击者的访问权限和约束其行为来防止此类事件的发生。但这仍然是英伟达的评估，而非独立验证的结果。

区分这一点至关重要，因为人工智能代理的功能正日益超越生成文本或代码，开始直接执行任务。代理可能需要访问文件、API、凭证和网络才能完成工作流程，但如果系统行为异常，这些权限也可能带来额外的安全风险。

Nvidia 的 OpenShell 文档指出，其策略旨在解决的风险包括数据泄露、未经授权的网络活动和过度系统访问。

外部控制对人工智能代理的安全至关重要

英伟达平台体现了在基础设施层面保障人工智能代理安全的更广泛趋势。传统的人工智能安全措施通常侧重于模型或应用程序，而自主代理则带来了新的挑战，因为它们可以采取行动并与外部系统交互。

Nvidia 此前曾将 OpenShell 描述为一种将安全控制放置在代理周围的可信基础架构中的方法，而不是完全依赖于模型本身。

随着组织部署能够长时间运行的代理，这种区别就显得尤为重要。在代理开始工作前限制其权限、监控其活动并维护独立的隔离机制，可以提供多层保护。

对英伟达而言，最新的平台代表着其致力于将这些控制措施融入支撑下一代人工智能代理的底层基础设施的努力。该公司认为，可靠的安全机制对于企业部署自主系统至关重要，同时还能确保企业对其可访问的数据和系统保持控制权。