AI Forensics заявила о слабой защите Hugging Face от интимных дипфейков

Коротко

AI Forensics утверждает, что 7 из 9 самых популярных моделей редактирования изображений на Hugging Face легко выполняли простые запросы на раздевание женщин.
Созданные исследователями тестовые Spaces получили более 1 000 промптов и изображений за 7 дней, хотя были специально настроены так, чтобы не генерировать изображения.
По оценке AI Forensics, 73% полученных запросов имели сексуальный характер.
Среди сексуальных запросов 83% были попытками раздеть изображенного человека; 95% таких целей составляли женщины, а почти 7% сексуальных запросов были направлены на детей.

Что произошло

The Verge со ссылкой на отчет AI Forensics пишет, что Hugging Face используется для создания несанкционированных дипфейков, а репозиторий open-source AI-моделей делает недостаточно для предотвращения таких злоупотреблений.

Исследователи проверили популярные модели редактирования изображений на Hugging Face и заявили, что 7 из 9 моделей выполняли простые запросы на создание сексуализированных изображений женщин.

Детали исследования

AI Forensics сравнила ситуацию с более массовыми генеративными AI-сервисами: в материале говорится, что Google Gemini и OpenAI ChatGPT обычно имеют защитные механизмы против запросов на раздевание или сексуализацию людей, тогда как у протестированных моделей на Hugging Face таких барьеров, по оценке организации, не оказалось.

Организация также создала тестовые Spaces на Hugging Face, чтобы отследить, какие изображения и запросы будут поступать. Эти Spaces получили более 1 000 промптов и изображений за 7 дней; 73% из них, по данным AI Forensics, были сексуального характера.

Почему это важно

В AI Forensics считают, что большинство протестированных Spaces можно использовать для генерации несанкционированных интимных изображений, и пользователи действительно применяют их для таких целей.

В материале отмечается, что это противоречит правилам Hugging Face, которые запрещают создание вредоносного контента, включая сексуальный контент без явного согласия и изображения наготы несовершеннолетних.

Что предлагают исследователи

AI Forensics не обвиняет Hugging Face в том, что платформа является источником размещенных моделей, но считает, что сервис может фильтровать входящие запросы и результаты работы систем.

Организация рекомендовала Hugging Face внедрить фильтрацию на уровне промптов и сканирование выходных данных, чтобы блокировать сексуализированные запросы на редактирование и вредоносный контент во всех Spaces, генерирующих изображения и видео.