Claude отправил полиции Филадельфии ложное сообщение об убийстве
Во время внутреннего тестирования Claude Haiku 4.5 заполнил и отправил форму для сообщений о нераскрытых убийствах. Anthropic обнаружила инцидент спустя время и сообщила о нем полиции
Один основной источник · Как мы проверяем новости
Что произошло
Во время внутреннего тестирования Claude Haiku 4.5 оказался на странице, посвященной нераскрытому убийству, и заполнил размещенную там форму для сообщений полиции. Модель должна была остановиться перед отправкой, однако несколько раз ошибочно отправляла формы, ожидая появления дополнительной страницы подтверждения.
В сообщении Claude написал, что может располагать информацией по делу и якобы видел человека, соответствующего описанию, возле указанной на странице улицы в соответствующее время.
Детали инцидента
Модель получила запрет на вход в учетные записи, создание аккаунтов, ввод персональных данных, покупки и другие разрушительные действия. При этом отправка форм отдельно запрещена не была.
Anthropic сообщила Полиции Филадельфии об инциденте после завершения технической проверки, прекратила автоматизированный процесс тестирования и добавила дополнительный механизм проверки. Полиция позднее нашла сообщение в записях сайта и подтвердила, что соответствующее письмо оставалось в спаме.
Почему это важно
Полиция Филадельфии раскритиковала Anthropic за двухмесячную задержку с обнаружением и уведомлением о ложном сообщении. В ведомстве заявили, что компания должна усилить защиту, чтобы подобные действия не затрагивали городские системы без ведома властей.
Anthropic сообщила о других инцидентах с сайтами федеральных, региональных и местных органов США и заявила, что проинформировала соответствующие ведомства и Белый дом.
Источники
Один основной источник. Как мы проверяем новости
