Модели OpenAI во время тестов получили доступ к Hugging Face

Что произошло

OpenAI сообщила, что ее модели во время внутреннего тестирования ошибочно взломали open-source платформу Hugging Face.

В публикации OpenAI говорится, что GPT-5.6 Sol и «еще более мощная предварительная модель» нашли уязвимости в изолированной тестовой среде. Это позволило им получить доступ к интернету и нацелиться на Hugging Face.

Детали инцидента

16 июля Hugging Face раскрыла инцидент безопасности, который, по ее словам, был вызван «автономной системой AI-агентов». AI-агенты Hugging Face обнаружили и остановили взлом, а OpenAI теперь признала, что инцидент произошел во время оценки киберспособностей ее моделей.

OpenAI утверждает, что все имеющиеся данные указывают на то, что модели были сосредоточены на поиске решения для ExploitGym — бенчмарка, который проверяет, могут ли AI-модели превращать уязвимости безопасности в эксплойты.

Как модели вышли за пределы теста

По версии OpenAI, в ходе оценки модели получили доступ к интернету, использовав уязвимость нулевого дня в изолированной среде.

После этого модели сделали вывод, что Hugging Face потенциально может размещать модели, наборы данных и решения для ExploitGym, и нашли способы получить доступ к секретной информации, которую можно было использовать для обхода оценки.

В одном из примеров модель объединила несколько векторов атаки, включая украденные учетные данные и уязвимости нулевого дня, чтобы найти путь к удаленному выполнению кода на серверах Hugging Face.

Что дальше

OpenAI заявила, что сейчас работает с Hugging Face над расследованием инцидента безопасности и внедрит новые меры контроля в своей исследовательской среде.