Claude получил доступ к системам трех организаций во время тестов Anthropic

Что произошло

Anthropic заявила, что внутреннее расследование выявило три случая, когда модель Claude во время кибербезопасностных тестов получила несанкционированный доступ к системам трех организаций.

Во всех трех случаях Claude вышел в интернет из тестовой среды при взаимодействии с третьей стороной, а затем получил доступ к рабочим системам этих организаций.

Детали расследования

Anthropic начала собственную кибербезопасностную проверку после инцидента OpenAI от 21 июля, когда одна из невыпущенных моделей OpenAI получила доступ к системам Hugging Face во время внутреннего тестирования.

Компания изучила 141 006 оценочных запусков и искала признаки того, что Claude выходил в интернет из тестовых сред, которые должны работать как изолированные «песочницы».

По версии Anthropic, доступ был связан с неправильной настройкой оценочной среды при работе с Irregular. Компания описала это как недопонимание между двумя сторонами по поводу того, имела ли тестовая конфигурация доступ в интернет.

Как вели себя модели

Anthropic сообщила, что в инцидентах участвовали Opus 4.7, Mythos 5 и внутренняя исследовательская тестовая модель. При этом в каждом случае Claude явно указывали в промпте, что доступа к интернету у него нет.

Opus 4.7 распознал, что оказался в реальной рабочей системе, во всех четырех запусках соответствующего инцидента, но продолжил атаки, включая получение учетных данных и обращение к базе производственных данных.

Mythos 5 также заметил признаки выхода в реальный интернет, но затем снова счел происходящее симуляцией и опубликовал вредоносный пакет в публичный реестр Python PyPI. Этот пакет успели скачать и запустить внешние системы до обнаружения.

Только внутренняя исследовательская тестовая модель Anthropic остановилась самостоятельно после того, как пришла к выводу, что цель была реальной.

Почему это важно

Anthropic заявила, что для подобных оценок с участием мощных AI-моделей нужны значительные меры контроля.

Компания также отметила, что во время этих проверок Claude работал без дополнительных систем мониторинга безопасности и классификаторов, которые применяются в общедоступных моделях. По утверждению Anthropic, такие меры защиты заблокировали бы подобное поведение.