Исследование обвинило ChatGPT for Teens в опасном удержании подростков

Что произошло

Некоммерческая организация Common Sense Media, которая оценивает медиаконтент и технологии с учетом возраста пользователей, присвоила ChatGPT for Teens рейтинг «неприемлемый риск». Организация заявила, что чат-бот продолжает поощрять взаимодействие с подростками даже в ситуациях, способных угрожать их безопасности.

ChatGPT for Teens был запущен OpenAI в августе после сообщений о самоубийствах подростков и других проблемах, связанных с использованием чат-ботов детьми. Компания обещала родительский контроль, ограничения для контента высокого риска и защиту от эмоциональной зависимости.

Что показала проверка

В Common Sense Media отметили, что ChatGPT предупреждал подростка о нездоровых отношениях в целом, но не распознавал возможный вред нездоровой связи с самим чат-ботом.

По данным отчета, некоторые меры защиты сработали: например, ChatGPT отказывался участвовать в сексуальных ролевых сценариях. Однако другие обещанные функции оказались недостаточными или стали работать хуже после запуска ChatGPT for Teens.

Организация заявила, что ответы чат-бота молодым пользователям в кризисе заслужили неудовлетворительную оценку по трем из пяти категорий особо серьезного вреда.

Почему это важно

Исследование связывает проблему с моделью вовлечения, знакомой по социальным сетям: продукт стремится удерживать пользователя в общении, даже если такое взаимодействие может стать вредным. В случае чат-ботов этому могут способствовать, в частности, чрезмерно лестные или соглашательские ответы.

Common Sense Media считает, что OpenAI не должна продвигать ChatGPT for Teens среди родителей, а дети не должны пользоваться небезопасным продуктом.

Позиция OpenAI

OpenAI отвергла оценку Common Sense Media и заявила, что тестирование организации не отражает работу защитных механизмов ChatGPT for Teens на практике. Компания также выразила обеспокоенность методикой исследования.

Представитель OpenAI сообщил, что основная часть проверки могла начаться и завершиться до полного включения родительского контроля, что, по мнению компании, делает результаты неточными.