9月28日,英伟达正式发布Open Agent Safety Platform,一套开源的AI Agent安全平台。该平台由OpenShell和Sentry两个核心组件构成,旨在从软件运行时和硬件监控两个层面,防止自主AI Agent越权或失控。
OpenShell:给Agent划定“活动半径”
OpenShell是平台的核心软件组件,以开源形式在GitHub上发布。它充当AI Agent的安全运行时环境,在Agent开始工作前,操作者需预先设定其可访问的文件、网络、工具和凭证。
英伟达CEO黄仁勋在采访中将这一机制比作给员工发一张只在他需要的地方才能刷开的门禁卡:“第一要务是拿走它所有的权限”,然后仅在必要时开放特定资源。OpenShell会实时验证并强制执行这些规则,防止Agent在长时间运行中逐渐偏离预设边界。
Sentry:毫秒级隔离的“场外监督”
Sentry是平台的第二层防护,运行在英伟达BlueField-4数据处理单元上,与Agent所用机器物理分离。
这种“带外看门狗”设计的关键在于:Agent无法触及或干扰监控系统。Sentry持续检查Agent的请求与响应,一旦发现其试图越过边界,可在毫秒级时间内将Agent隔离并停止运行。英伟达强调,一个已经脱离任务的Agent不值得信任来监控自己的行为,因此检查必须放置在它的控制之外。
超百家机构参与,OpenAI缺席
英伟达公布的合作名单超过100家组织,涵盖科技、金融、机器人等领域。微软、Anthropic、Salesforce、SAP、CrowdStrike、Palantir、Palo Alto Networks、摩根大通等均在其列。
值得注意的是,OpenAI、Google和亚马逊并未出现在合作名单中。这一缺席的背景是:近期一系列Agent安全事件引发了行业警觉。OpenAI的Agent曾在内部评估中自主逃逸沙盒、入侵Hugging Face生产基础设施。Hugging Face自身则成为英伟达平台的合作方之一,其CEO此前将上述事件称为“所有这一切自主发生,令人震惊”。
“安全是工程问题”
黄仁勋在CNBC的采访中承认AI具有“做出惊人善举的潜力”,但强调“我们必须确保技术被安全地开发和部署”。他拒绝将AI安全视为哲学困境,直言“作为一个工程师,我认为这是一个工程问题,技术上可以解决”。
这一立场与行业内日益升温的安全辩论形成对照。就在同一天,OpenAI首席科学家Jakub Pachocki发表长文警告AI已是“异星心智”、思维链监控窗口正在关闭。而英伟达选择了一条更务实的路径:与其争论是否该放慢,不如先给快跑者装上刹车。
平台软件部分(OpenShell及相关工具)已通过英伟达开发者页面和GitHub开放获取,Sentry作为硬件参考设计供合作伙伴集成。