OpenAI пресекла попытку извлечь скрытые рассуждения моделей

Что произошло

OpenAI заявила, что остановила скоординированную попытку скопировать способ, которым ее модели формируют ответы. Ключевой кластер активности компания связала с людьми, имеющими отношение к Moonshot AI, разработчику Kimi.

Кампания началась 1 июля. 24 и 25 июля OpenAI зарегистрировала 16 000 запросов на извлечение данных от более чем 4 000 пользователей; всего в более широкую активность входили свыше 15 000 пользователей. По утверждению компании, к 28 июля она полностью пресекла кампанию.

Как извлекали данные

Современные модели ИИ перед ответом могут пошагово обрабатывать задачу во внутреннем рабочем поле, после чего показывают пользователю итог. OpenAI шифрует это внутреннее рассуждение и утверждает, что оно может содержать сведения, отсутствующие в финальном ответе.

По версии компании, операторы не взламывали шифрование, базы данных или сохраненные разговоры. Они манипулировали взаимодействием с моделями, чтобы защищенное рассуждение воспроизводилось в видимой для запрашивающего форме. Один из методов заключался в переносе зашифрованного рассуждения из одного разговора в другой с последующей просьбой расшифровать его.

OpenAI закрыла канал, который позволял пользователю повторно передать уже полученное зашифрованное рассуждение другого пользователя и восстановить его содержимое.

Почему это важно

Скрытое рассуждение моделей может содержать информацию, которой нет в окончательном ответе. OpenAI считает, что описанная схема нарушала условия использования сервиса.

Компания отметила, что результаты работы ИИ не защищаются авторским правом, поэтому разработчики включают в условия использования запреты и защитные меры против применения таких результатов конкурентами.

Контекст

OpenAI заявила, что не может установить, исходили ли все наблюдавшиеся операторы от одного участника, но связывает ключевой кластер с людьми, имеющими отношение к Moonshot AI.

В январе 2025 года OpenAI сообщала о проверке признаков того, что DeepSeek мог использовать дистилляцию ее моделей. В феврале Anthropic обвинила китайские лаборатории в применении около 24 000 мошеннических аккаунтов для создания более 16 млн обменов с Claude.