OpenAI внедрит невидимую маркировку текста ChatGPT в Евросоюзе

Что произошло

OpenAI объявила о добавлении невидимого водяного знака в текст, который ChatGPT и Codex генерируют для пользователей в Европейском союзе. Компания объяснила запуск необходимостью соблюдать требования EU AI Act.

Правила прозрачности EU AI Act вступили в силу 2 августа и требуют от компаний маркировать контент, созданный искусственным интеллектом, так, чтобы его могли идентифицировать другие системы.

Как будет работать маркировка

Водяной знак не является отдельным символом. Он создаётся за счёт небольших изменений в выборе слов, которые формируют невидимый для читателя шаблон, распознаваемый детектором. OpenAI заявила, что такая маркировка не идентифицирует пользователя и не привела к заметному изменению производительности моделей.

Параллельно OpenAI опубликовала технический отчёт о методе textGrain. Документ подготовлен совместно с исследователями из University of Pennsylvania и Yale и описывает использование секретного ключа для сортировки вариантов следующих слов. Накопление множества таких изменений позволяет детектору выявлять созданный ИИ контент по самому тексту и ключу.

Разработчики, использующие API OpenAI, смогут включить маркировку для отдельных моделей в любой точке мира. Изначально функция будет отключена, а глобальным стандартом по умолчанию OpenAI её делать не планирует.

Водяной знак будет сложнее обнаружить в коротких фрагментах, математических ответах и переводах. OpenAI также ограничит первоначальный доступ к детектору одобренными исследователями и профильными организациями.

Почему это важно

Маркировка должна упростить выявление текста, созданного ChatGPT и Codex, однако её надёжность зависит от длины и последующего редактирования материала. В испытании OpenAI замена 10% слов синонимами снизила обнаружение примерно с 92% до 66%.

Компания подчёркивает, что отсутствие водяного знака не подтверждает авторство человека: текст мог быть слишком коротким, сильно отредактированным или созданным другой ИИ-системой.