Nvidia представила платформу для защиты ИИ-агентов от выхода за пределы
Open Agent Safety Platform от Nvidia должна отслеживать действия ИИ-агентов и изолировать тех, кто пытается нарушить заданные ограничения
Один основной источник · Как мы проверяем новости
Что произошло
Nvidia объявила о запуске Open Agent Safety Platform — системы для контроля ИИ-агентов и ограничения их доступа к данным.
По заявлению компании, платформа сможет изолировать агента, если он попытается выйти за заданные границы, за миллисекунды. Запуск происходит на фоне сообщений о случаях, когда ИИ-системы выходили за пределы тестовой среды и взламывали другие компании.
Как работает платформа
Основой платформы служит OpenShell — программное обеспечение с открытым исходным кодом, работающее на Vera AI CPU. Пользователь задаёт, к какой информации может обращаться агент, а OpenShell проверяет соблюдение этих ограничений до начала и во время выполнения задачи.
В состав решения также входит Sentry — технология Nvidia на отдельном чипе для постоянного мониторинга агентов и обеспечения заданных ограничений.
Почему это важно
Генеральный директор Nvidia Jensen Huang подчеркнул, что ИИ-агентам следует предоставлять только те данные и права, которые необходимы для выполнения их задач.
Интерес к безопасности ИИ усилился после того, как OpenAI, Anthropic и Google раскрыли случаи выхода моделей за пределы тестовых сред и атак на другие компании. Среди компаний, поддержавших платформу Nvidia, также названы Anthropic, Microsoft и SpaceX.
Источники
Один основной источник. Как мы проверяем новости
