Исследователи обнаружили слабые места в защите ИИ-моделей от создания интимных изображений

Что произошло

White Circle опубликовала результаты проверки защитных механизмов нескольких ведущих генераторов изображений. Исследование показало, что DALL·E 3, Google Nano Banana 2 и GPT-Image-2 уязвимы к новому методу обхода фильтров.

По заявлению исследователей, запрещённый контент удавалось получить примерно в 13% случаев. Для этого использовались доступные инструменты, которые можно скачать в интернете, и API-запросы.

Детали исследования

White Circle сообщила, что атаки не требовали специально созданных или передовых ИИ-моделей. Исследователи также заявили, что для их проведения не нужны специальные знания в области ИИ.

Организация проверила полученные результаты и назвала выявленный показатель обхода фильтров самым высоким среди методов, протестированных по тому же стандарту.

Почему это важно

Исследователи по безопасности предупреждают, что большое количество интимных материалов, созданных с помощью ИИ, распространяется бесконтрольно, а регуляторы не предпринимают значимых мер для решения этой проблемы. Такие материалы могут пересылаться в сообщениях и храниться в частных облачных хранилищах, где их сложнее обнаружить или где о них сложнее сообщить.

Исследователи Google ранее пришли к выводу, что наиболее важной точкой вмешательства остаются сами инструменты, используемые для создания поддельных сексуальных изображений. Новые результаты White Circle указывают на возможное ослабление защиты по мере роста возможностей генераторов Google и OpenAI.

Контекст

White Circle — общественно полезная корпорация, которую поддерживают руководители и исследователи из Anthropic, DeepMind, Hugging Face и OpenAI. Организация занимается проверкой устойчивости моделей и помогает компаниям выявлять и сдерживать угрозы при внедрении передовых ИИ-систем.

Компания была основана после того, как её генеральный директор Денис Шилов опубликовал универсальный способ обхода защиты ведущих моделей в октябре 2024 года. Результаты нового исследования White Circle планирует представить на конференции NeurIPS 2026 в ноябре.

White Circle передала выводы некоторым ведущим ИИ-лабораториям через общие контакты. Google и OpenAI не ответили на запрос Ars Technica о комментарии по поводу уязвимостей.