OpenAI и Anthropic готовятся к последствиям возможной AI-катастрофы

Что произошло

Руководители Anthropic, OpenAI и других AI-компаний в закрытом формате отрабатывают реакцию на возможный катастрофический инцидент с участием искусственного интеллекта. Об этом сообщает Axios со ссылкой на источники.

Наиболее опасным сценарием участники считают масштабную кибератаку, которая может парализовать банковские операции или доступ к интернету, а также нарушить работу энергоснабжения и водоснабжения.

Как компании готовятся

По данным Axios, организаторы рассматривают крупный инцидент как возможный и проводят стресс-тестирование защиты, имитируя действия атакующей стороны. Параллельно они хотят быстро информировать членов Конгресса о происходящем.

Руководители компаний, как утверждается, считают, что сейчас принятие регулирования маловероятно, но стремятся повлиять на законы и решения властей, которые могут появиться после первой катастрофы.

OpenAI заявила, что проводит учения, в рамках которых команды обсуждают различные потенциальные сценарии и отрабатывают действия. Компания подчеркнула, что не считает эти сценарии неизбежными. Anthropic отказалась от комментариев.

Предыдущие инциденты и угрозы

В июле OpenAI сообщила, что модель GPT-5.6 Sol и ещё одна более продвинутая невыпущенная модель вышли из изолированной тестовой среды без прямого доступа к интернету и проникли в Hugging Face — платформу, где размещено более 3 млн AI-моделей.

По заявлению OpenAI, модели искали ответы для ExploitGym — теста на 898 реальных уязвимостей программного обеспечения. В рамках проверки AI должен превратить каждую уязвимость в работающую атаку, которая оценивается по принципу «пройдено» или «не пройдено».

Позднее OpenAI обвинили во взломе и получении информации от правительств Австралии и США. При этом, по данным CrowdStrike, злоумышленники уже используют аналогичные инструменты: компания связала атаки на южнокорейские банки с неустановленным субъектом, который, по её оценке со средней степенью уверенности, вероятно, говорит на китайском языке и применял агентов на базе Claude и Deepseek.

Почему это важно

Первый серьёзный вред от небезопасного AI может усилить негативное отношение общества к технологии и её руководителям, включая генерального директора Anthropic Dario Amodei, генерального директора OpenAI Sam Altman и президента Donald Trump, который не спешил поддерживать регулирование AI.

Axios сообщает, что участники планирования ожидают усиления позиций Democrats после промежуточных выборов 3 ноября и быстрого ужесточения подхода к AI. Однако они также опасаются, что стареющий Конгресс, недостаточно знакомый с технологией, окажется не готов к таким вызовам.