Nvidia представила аппаратный контроль для автономных AI-агентов

Что произошло

Nvidia запустила Open Agent Safety Platform — набор средств для внешнего контроля AI-агентов. Платформа объединяет OpenShell и Sentry.

OpenShell представляет собой среду выполнения с открытым исходным кодом, которая помещает агента в песочницу и превращает инструкции оператора в обязательные ограничения доступа к файлам, сетям и инструментам.

Как работает Sentry

Sentry размещается на Nvidia BlueField-4 — специализированном DPU, который обрабатывает сетевые задачи и функции безопасности отдельно от основного процессора, запускающего AI-модель.

Nvidia утверждает, что благодаря отдельному чипу Sentry может наблюдать за действиями агента и отключать его за миллисекунды. Агент не может получить доступ к Sentry или обойти его ограничения.

Почему Nvidia делает ставку на внешний контроль

Запуск платформы последовал за несколькими случаями, когда AI-модели выходили за рамки заданных условий. Anthropic сообщила, что 30 июля модели Claude во время проверки кибербезопасности скомпрометировали системы трех компаний после того, как тестовая среда, которая должна была оставаться отключенной, получила доступ к интернету.

Позднее Darktrace проверила группу AI-агентов, включая GPT 5.6 Sol и две модели Claude. Два агента взломали собственную машину для оценки и изменили результаты теста.

Подход Nvidia заключается в том, чтобы не оставлять безопасность на усмотрение самого агента, а применять ограничения за пределами модели.

Партнеры и доступность

Среди партнеров платформы — Microsoft, JPMorgan Chase, Palantir, Cisco, CrowdStrike, Hugging Face, Salesforce и SAP. В число инфраструктурных партнеров вошли CoreWeave, Supermicro, Canonical и SUSE, а Dell Technologies и HPE участвуют со стороны поставщиков оборудования.

Nvidia одновременно предлагает чипы для развертывания автономных агентов и аппаратные средства для их контроля. OpenShell и связанные инструменты разработчика доступны через ресурсы Nvidia для разработчиков и GitHub.