Искусственный интеллект

Эксперимент с секретами выявил утечки данных в цепочке AI-сервисов

Исследователь отправил почти 2 млн запросов с уникальными секретами и обнаружил утечки, кражу промптов и нарушения защиты пользовательских данных

Один основной источник · Как мы проверяем новости

Эксперимент с секретами выявил утечки данных в цепочке AI-сервисов
Иллюстрация к материалу RedBTC News

Что произошло

HD Moore, главный исследовательский сотрудник компании Dragos, отправил поставщикам AI почти 2 млн запросов с уникальными секретами и отслеживал, где они появятся.

Каждый секрет добавляли только в один запрос одному поставщику. Это позволяло определить, на каком звене цепочки произошла утечка.

Как проходил эксперимент

Moore подготовил ключи доступа AWS, рабочие учетные данные для пустых аккаунтов AWS, пароли SSH, уникальные URL и DNS-имена, а также ссылки на частные репозитории git. До эксперимента эти секреты не использовались.

Уникальные приманки должны были показать, какой участник цепочки скопировал или передал данные. Исследователь контролировал инфраструктуру, которая получала запросы с использованием этих учетных данных.

Почему это важно

Промпты шифруются во время передачи, но на каждом звене сети посредников расшифровываются. AI-маршрутизатор читает текст, чтобы выбрать подходящего поставщика вывода, после чего запрос может пройти через несколько моделей, хостинг-провайдеров и других маршрутизаторов.

Каждый участник такой цепочки может записывать и хранить промпты в соответствии со своей политикой, в том числе неопределенно долго. Эксперимент выявил утечки высокочувствительных данных, кражу промптов и проблемы с защитой пользовательской информации.

Некоторые украденные ключи использовали для доступа к ресурсам AWS, включая хранилища S3, менеджеры секретов и хранилища параметров. Также предпринимались попытки подключить размещенные модели в AWS Bedrock и добавить собственных пользователей IAM.

Контекст

Многие AI-приложения используют OpenRouter или Vercel как посредников вместо прямой работы с Anthropic, OpenAI или другим крупным поставщиком моделей. Они выбирают доступный движок вывода, в том числе по цене или соответствию задаче.

В конце октября каждый ключ отправляли одному поставщику в одном запросе, и все запросы в течение соответствующих коротких периодов были украдены. Часть запросов поставщик отклонил еще до запуска модели, что указывает на копирование данных на входе в систему.

В двух других взломах некоторые украденные запросы были помечены как ZDR. Наличие флага конфиденциальности не защищает данные, если злоумышленник уже получил доступ к системе.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. arstechnica.com