Griffin от Tavus убедил почти половину участников видеозвонков, что перед ними человек

Что произошло

Tavus представила Griffin 1 октября и назвала модель первым Human Interaction Model — искусственным интеллектом для понимания и генерации общения лицом к лицу. Система учитывает не только слова, но также выражения лица и паузы.

В версии Griffin-Lite, которую проверяла Tavus, 26 из 54 участников после од-minute видеозвонка заявили, что считали собеседника настоящим человеком. Компания сообщила, что это соответствует результату 48%.

Как проходил тест

Участникам сказали, что их соединят с другим человеком для разговора о том, чего они ждут в этом году. Только в конце их спросили, возникала ли у них мысль, что собеседник может быть ненастоящим.

Этот эксперимент отличается от классического теста Тьюринга, предложенного в 1950 году британским математиком Аланом Тьюрингом: в нём судья общается со скрытыми человеком и машиной и должен определить, кто есть кто.

Tavus заявила, что участники, у которых возникали подозрения, обычно замечали это в течение 20 секунд.

Почему это важно

Развитие реалистичного общения с ИИ важно не только для технологических компаний: мошенники уже используют видеозвонки.

По данным исследования UC San Diego, модель OpenAI GPT-4.5 убедила судей в своей человечности в 73% текстовых разговоров, когда её просили изображать замкнутого молодого человека, хорошо знакомого с интернетом.

Результаты на VideoFDB

На тесте NVIDIA VideoFDB для живого общения с использованием аудио и видео Tavus заявила о первом месте Griffin-Lite.

В треке генерации, который оценивает естественность и выразительность ответов, Griffin-Lite набрала 3,83 балла. Следующая система получила 2,80, а человеческий ориентир — 3,92.

В треке восприятия, проверяющем понимание моделью увиденного и услышанного, Griffin-Lite набрала 3,73 балла против 3,44 у наиболее сильной базовой системы. Человеческий ориентир получил 4,20. По словам Tavus, оценку проводила NVIDIA независимо.