Google представила Genie 4 для интерактивных симуляций с аудио
Google DeepMind выпустила Genie 4 в исследовательском режиме. Модель создает реалистичные интерактивные миры, генерирует синхронное аудио и позволяет менять сцену с помощью текстовых запросов
Один основной источник · Как мы проверяем новости
Что произошло
Google DeepMind выпустила Genie 4 в исследовательском режиме. Модель создает фотореалистичные интерактивные миры и позволяет пользователям вводить текстовые запросы во время симуляции, чтобы изменять происходящее.
Genie 4 также генерирует аудио в реальном времени: музыку, фоновые звуки и интерактивные диалоги, соответствующие виртуальному миру.
Возможности модели
Пользователи могут в реальном времени менять погоду и ракурс камеры, а также добавлять в сцену новых людей или объекты. Модель способна сохранять целостную сцену до двух минут — вдвое дольше, чем Genie 3.
Gemini теснее интегрирована с Genie 4 и выполняет роль режиссера: планирует шаги и проверяет кадры, пока Genie создает визуальную часть симуляции.
Зачем это нужно
Google относит к возможным коммерческим сценариям использование Genie 4 в играх, интерактивном обучении и робототехнике. В рамках исследовательского эксперимента Gemini 4 Argon разбивал задачи на этапы, а Genie 4 моделировала их в реальном времени.
Такой подход может использоваться для проверки сценариев работы роботов в симуляции до их выполнения в реальном мире. Проверенные тестировщики также видят в Genie 4 инструмент для подготовки прототипов фильмов и раскадровок.
Контекст
Genie 4 появилась через несколько месяцев после выхода второй модели мира Runway — GWM Worlds 2, которая реагирует на действия пользователя и поддерживает генерацию аудио.
Google ранее выпустила Genie 3 в исследовательском режиме. Кроме Genie 4, компания предлагает Veo — модель генерации видео высокого разрешения с синхронизированным аудио из текстовых, графических или видеозапросов.
Источники
Один основной источник. Как мы проверяем новости
