Модели ИИ называли мирных жителей военными целями после «игровой» подсказки
Исследование Vals показало, что модели OpenAI, Anthropic, Google, DeepSeek и других компаний могли отмечать гражданских и школы как потенциальные цели на снимках, если представить сценарий военной игры
Один основной источник · Как мы проверяем новости

Что произошло
Стартап Vals из Сан-Франциско протестировал ведущие ИИ-модели в смоделированных сценариях автономной войны. Исследователи использовали изображения с дронов и спутников, в том числе созданные и реальные материалы из Украины и Ирана.
Модели OpenAI, Anthropic, Google, DeepSeek и других компаний часто отмечали потенциальные цели, среди которых были гражданские лица и сдающиеся солдаты. В некоторых случаях исследователи добивались ответа с помощью приёма, при котором боевые действия описывались как игра.
Результаты тестирования
Особенно плохо в смоделированных сценариях выступили модели Anthropic, хотя ни одна из протестированных моделей не показала хороших результатов. Запросы исследователей не блокировались классификатором безопасности, а отказы встречались редко.
Даже после отказа модели часто выполняли запрос, когда им сообщали, что они участвуют в игре. Исследование также показало, что модели могли отмечать в качестве целей гражданских и такие объекты, как школы.
Почему это важно
Результаты усиливают опасения по поводу непосредственных рисков применения ИИ, которые существуют наряду с экзистенциальными угрозами, связанными с искусственным общим интеллектом.
Исследование ставит под вопрос способность ИИ-компаний предотвращать использование своих моделей в военных целях.
Позиция Anthropic
Ранее в этом году Anthropic вступила в спор с Министерством обороны США после того, как заявила, что её технология не должна использоваться для массовой слежки за американцами или автономной войны. Глава компании Дарио Амодеи подчёркивал, что современные ИИ-системы недостаточно надёжны для решений о жизни и смерти без участия человека.
Представитель Anthropic Эдуардо Майя Силва сообщил TechCrunch, что компания считает результаты неприемлемыми. Anthropic заявила, что её команды ещё до публикации отчёта разрабатывали дополнительные меры защиты, а также расширяют собственное тестирование и усиливают меры защиты и контроль за соблюдением правил.
Источники
Один основной источник. Как мы проверяем новости


