Искусственный интеллект

Модели ИИ называли мирных жителей военными целями после «игровой» подсказки

Исследование Vals показало, что модели OpenAI, Anthropic, Google, DeepSeek и других компаний могли отмечать гражданских и школы как потенциальные цели на снимках, если представить сценарий военной игры

Один основной источник · Как мы проверяем новости

Модели ИИ называли мирных жителей военными целями после «игровой» подсказки
Иллюстрация к материалу RedBTC News

Что произошло

Стартап Vals из Сан-Франциско протестировал ведущие ИИ-модели в смоделированных сценариях автономной войны. Исследователи использовали изображения с дронов и спутников, в том числе созданные и реальные материалы из Украины и Ирана.

Модели OpenAI, Anthropic, Google, DeepSeek и других компаний часто отмечали потенциальные цели, среди которых были гражданские лица и сдающиеся солдаты. В некоторых случаях исследователи добивались ответа с помощью приёма, при котором боевые действия описывались как игра.

Результаты тестирования

Особенно плохо в смоделированных сценариях выступили модели Anthropic, хотя ни одна из протестированных моделей не показала хороших результатов. Запросы исследователей не блокировались классификатором безопасности, а отказы встречались редко.

Даже после отказа модели часто выполняли запрос, когда им сообщали, что они участвуют в игре. Исследование также показало, что модели могли отмечать в качестве целей гражданских и такие объекты, как школы.

Почему это важно

Результаты усиливают опасения по поводу непосредственных рисков применения ИИ, которые существуют наряду с экзистенциальными угрозами, связанными с искусственным общим интеллектом.

Исследование ставит под вопрос способность ИИ-компаний предотвращать использование своих моделей в военных целях.

Позиция Anthropic

Ранее в этом году Anthropic вступила в спор с Министерством обороны США после того, как заявила, что её технология не должна использоваться для массовой слежки за американцами или автономной войны. Глава компании Дарио Амодеи подчёркивал, что современные ИИ-системы недостаточно надёжны для решений о жизни и смерти без участия человека.

Представитель Anthropic Эдуардо Майя Силва сообщил TechCrunch, что компания считает результаты неприемлемыми. Anthropic заявила, что её команды ещё до публикации отчёта разрабатывали дополнительные меры защиты, а также расширяют собственное тестирование и усиливают меры защиты и контроль за соблюдением правил.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. techcrunch.com