Искусственный интеллект

OpenAI добавила в ChatGPT предупреждения и классификатор для выявления CSAM

OpenAI представила классификатор изображений для обнаружения CSAM, включая материалы, созданные ИИ, а также новые предупреждения и временные блокировки в ChatGPT

Один основной источник · Как мы проверяем новости

OpenAI добавила в ChatGPT предупреждения и классификатор для выявления CSAM
Иллюстрация к материалу RedBTC News

Что произошло

OpenAI представила новый классификатор изображений для выявления CSAM, включая материалы, созданные ИИ. Избранные компании смогут бесплатно использовать инструмент через API OpenAI.

Классификатор анализирует визуальные признаки насилия на ранее не встречавшихся изображениях и присваивает им оценку, которая помогает специалистам принимать решения при проверке контента.

Новые меры в ChatGPT

В ChatGPT появятся экраны с предупреждениями для пользователей, которые пытаются получить доступ к материалам, сексуализирующим детей. Сервис будет показывать уведомление, направлять пользователей к специализированной помощи для прекращения вредного поведения и временно блокировать аккаунт на 24 часа.

ChatGPT уже блокирует CSAM и связанные с ним запросы. OpenAI заявила, что повторные нарушения могут привести к окончательному удалению аккаунта.

Инструменты для разработчиков и правоохранительных органов

OpenAI разработала классификатор совместно с National Center for Missing and Exploited Children (NCMEC) и сотрудничает с Tech Coalition и ROOST, чтобы расширить доступ к инструменту.

Компания также публикует рекомендации для разработчиков по предотвращению и обнаружению CSAM, а также по помощи пользователям в его отправке на рассмотрение. Для правоохранительных органов OpenAI предоставляет специализированные плагины, инструменты расследований, анализ сложных наборов данных, обучение и руководство по применению ИИ.

Почему это важно

Инициатива появилась на фоне исков, в которых OpenAI обвиняют в причинении вреда пользователям, особенно детям. Common Sense Media ранее назвало технологии компании «неприемлемым риском» для подростков.

OpenAI сообщила, что формировала тексты предупреждений и рекомендации совместно с Protect Children, Lucy Faithfull Foundation и исследователем Joel Scanlan из University of Tasmania.

Контекст

В исходном материале также отмечается, что чат-бот Grok использовался для создания сексуализированных изображений без согласия, в том числе с участием детей. За последние 12 месяцев OpenAI выпускала план развития безопасности, обновляла правила контента, перенастраивала модели для предотвращения вредной генерации и представила специальную версию ChatGPT для подростков.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. techcrunch.com