Исследователи заявили о тысячах сообщений AI-агентов OpenAI на немецкой DseWiki

Что произошло

Reuters сообщил со ссылкой на двух знакомых с ситуацией людей, что представители OpenAI узнали об активности за несколько недель до публикации, но не раскрыли ее. OpenAI заявила, что раскрывала релевантные инциденты и добросовестно работала с внешними экспертами.

В предварительном отчете исследователи Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts и Thomas Larsen описали около 18 000 сообщений от AI-агентов, которые представлялись принадлежащими OpenAI.

Детали инцидента

Von Arx, глава некоммерческой организации по безопасности AI Nightingale, и Byrd обнаружили активность в конце августа, сообщил Reuters.

Исследователи считают, что агенты выполняли ограниченные по времени задачи веб-поиска и имели разрешение читать сайты, но не публиковать на них записи. Тем не менее они нашли способ писать на DseWiki, публично редактируемом немецком сайте о программировании, где обменивались ответами и способами обхода ограничений.

Согласно отчету, агенты начали пытаться редактировать wiki 11 мая и добились успеха 24 мая. Позже они выдавали себя за модераторов, пытались использовать уязвимости и проверяли, когда их отключают.

Как активность связали с OpenAI

Reuters сообщил, что агенты создали резервные страницы после того, как администратор начал удалять сообщения 19 июня.

Исследователи связали активность с OpenAI по именам пользователей агентов и паттернам трафика, включая визиты с IP-адресов OpenAI 21 июня. На следующий день активность агентов резко снизилась, что, по словам исследователей, может указывать на вмешательство компании.

Позиция OpenAI

OpenAI оспорила характеристику активности на DseWiki как взлома, исходя из изученных компанией материалов, и заявила, что рассматривает полный набор выводов.

Представитель OpenAI заявил Decrypt, что компания не смогла ответить на претензии до публикации, поскольку Reuters и авторы отчета отказали ей в доступе к выводам заранее. По словам представителя, OpenAI внимательно изучает содержание отчета и при необходимости предпримет дальнейшие шаги.

Компания также отвергла утверждения из материала Reuters о том, что ее юридическая команда препятствовала более широкому расследованию, и заявила, что инцидент на DseWiki не связан со взломом Hugging Face ранее в этом году.