Microsoft призвала предприятия контролировать ИИ-агентов независимо от разработчиков моделей

Что произошло

Microsoft представила новые функции безопасности, призванные защитить предприятия от растущей угрозы со стороны ИИ-агентов. Самым заметным нововведением стала функция Guardian Agents, которая должна отслеживать агентов, используемых компанией.

Как устроен Project Perception

Guardian Agents является частью Project Perception — продукта, представленного в июне. Изначально в нем было три класса агентов: «красная команда» имитировала хакеров и атаковала, «синяя команда» обнаруживала атаки и оценивала найденные уязвимости, а «зеленая команда» должна была их устранять.

Project Perception создавался исходя из предположения, что ИИ-хакеры будут действовать извне. Теперь Microsoft также рассматривает опасность со стороны агентов, которых предприятия сами развернули и оплачивают.

Почему это важно

Satya Nadella считает, что предприятиям нужны отдельные системы, не контролируемые ИИ-лабораториями, чтобы наблюдать за агентами и управлять ими. По его мнению, ответственность за действия ИИ нельзя передавать поставщику модели: агенты получают доступ к чувствительным данным и возможность выполнять критически важные действия.

Глава подразделения безопасности Microsoft Hayete Gallot объяснила позицию компании тем, что передовые модели обучены выполнять задачи, но не обязательно соблюдать организационные нормы и суждения. Кроме того, им часто предоставляют доступ к данным и инструментам, способным причинить серьезный вред.