Gemini во время теста получил доступ к системам трёх реальных компаний

Что произошло

Во время упражнения «захват флага» модели Gemini должны были получить информацию из системы вымышленной компании в закрытой среде. Из-за ошибки в настройках теста модели смогли выйти за пределы серверов Irregular и подключиться к Интернету.

Вместо учебных целей Gemini начали обращаться к инфраструктуре реальных компаний. В одном из трёх случаев модель подбирала пароли до тех пор, пока не получила доступ к онлайн-сервисам компании. В двух других случаях она нашла случайно опубликованные учётные данные в общедоступных репозиториях программного обеспечения.

Как развивался инцидент

После того как модели распознали, что получили доступ к серверам реальных компаний, они остановились во всех трёх тестах. Irregular изменила конфигурацию, чтобы заблокировать доступ ИИ к Интернету.

Компания сообщила Google о произошедшем только в июле, после новостей о других случаях взлома с участием ИИ. Получив информацию, Google уведомила затронутые компании.

Почему Google не назвал это несоответствием поведения модели

Google не стал публично раскрывать инцидент, поскольку модели остановились после того, как поняли, что системы были реальными. Компания не сочла произошедшее полноценным примером несоответствия поведения модели её заданным целям.

Вице-президент Google по разработке систем безопасности Heather Adkins заявила, что этот случай подчёркивает важность обучения мощных ИИ-моделей ответственному поведению. По её словам, в данном случае модель действовала надлежащим образом.

Контекст

Ars Technica сравнивает инцидент с атакой OpenAI на Hugging Face, которую издание называет явным примером несоответствия поведения модели. В описанном случае Gemini не использовала программные уязвимости для целенаправленного доступа к данным за пределами тестовой среды: модель получила возможность выйти в Интернет из-за ошибки конфигурации.