Ошибка ИИ едва не привела к перехвату китайского судна военными США

Что произошло

Аналитик Командования специальных операций США использовал чат-бот для анализа разведывательных материалов о манифесте китайского судна. Созданный на их основе отчёт утверждал, что судно перевозит компоненты ядерной программы через Ближний Восток.

Американские военные готовились перехватить судно и высадить на него группу при поддержке авиации. До начала операции чиновники установили, что чат-бот неверно определил перевозимый материал.

Как возникла ошибка

По данным CNN, чат-бот объединил сведения из открытых источников с секретными данными радиоэлектронной разведки, хранившимися в государственных системах. Затем эта информация была оформлена в разведывательный отчёт, который едва не запустил опасную цепь событий.

Случай показывает риск использования ИИ для профессионального анализа: модель может уверенно сформулировать вымышленный вывод, если ей не хватает контекста.

Почему это важно

Одновременно с этим применение ИИ в американских военных структурах расширяется. В январе Министерство обороны США представило стратегию ускорения ИИ, предусматривающую доступ систем к подходящим данным из объединённых ИТ-систем.

В декабре Министерство обороны сообщило, что будет использовать Gemini for Government от Google как основу платформы GenAI.mil. Позже на платформе появилась опция Grok for Government, а Anthropic предлагает адаптированную версию Claude для работы американских разведслужб.

В июне представитель Пентагона сообщил Конгрессу, что генеративный ИИ помогает создавать обязательные для Конгресса отчёты. По его словам, военные инструменты генеративного ИИ использовали 1,5 млн действующих сотрудников Министерства обороны США.

Контекст

В 2023 году Государственный департамент США заявил, что ответственное применение ИИ вооружёнными силами должно учитывать риски и преимущества, снижать вероятность непреднамеренной предвзятости и аварий, а также предусматривать участие человека и ответственную цепочку командования.

В марте Министерство обороны внесло Anthropic в чёрный список из-за позиции компании против использования её моделей в автономных системах вооружений. Федеральный судья назвал это решение незаконным преследованием, нарушающим Первую поправку к Конституции США.