Искусственный интеллект

Suno добавила генерацию видео и изображений для музыкальных треков

Функция Visuals превращает песни Suno в короткие видеоклипы с синхронизацией губ и позволяет создавать изображения для обложек и миниатюр

Один основной источник · Как мы проверяем новости

Suno добавила генерацию видео и изображений для музыкальных треков
Иллюстрация к материалу RedBTC News

Что произошло

Suno представила Visuals — функцию для создания изображений и видеоклипов на основе своих музыкальных треков. Сервис может автоматически синхронизировать движения губ персонажей с вокалом, а изображения можно использовать как миниатюры и обложки альбомов.

Функция доступна в веб-версии Suno, а также на iOS и Android. В каждом варианте приложения Visuals находится в режиме Create.

Как работает Visuals

Пользователь может выбрать фрагмент песни длительностью до 15 секунд и указать исходное изображение для видеоклипа. В качестве основы доступны готовые персонажи Suno, собственная фотография или иллюстрация, а также изображение, созданное по текстовому описанию.

Для изображений можно выбирать соотношение сторон, в том числе форматы для альбомной или портретной ориентации. В видео исходная картинка может использоваться как первый или последний кадр, а длину клипа и соотношение сторон можно настраивать.

В Visuals есть временная шкала для объединения клипов в более длинные видео и добавления настраиваемого текста песни.

Модель и ограничения

Работу Visuals обеспечивает модель H3 Move AI на базе H3 от MiniMax. По словам Suno, модель оптимизировали для пользователей платформы и дополнили защитными механизмами.

В системе предусмотрены текстовые и визуальные фильтры, которые должны блокировать использование или генерацию образов конкретных артистов и публичных лиц, а также защищённых авторским правом произведений и интеллектуальной собственности.

Для создания изображений и видео нужны отдельные кредиты Visuals. Они не совпадают с кредитами, которые используются для генерации музыки, поэтому новая функция предполагает дополнительные расходы для пользователей.

Почему это важно

Запуск Visuals расширяет Suno за пределы генерации музыки. Он последовал за появлением в октябре функции Speech для создания устной речи и закадрового озвучивания.

Новая функция появилась на фоне претензий к музыкальному генератору Suno и ряда заметных судебных исков. При этом некоторые пользователи призвали компанию сосредоточиться на улучшении генерации песен.

Advertisement

Источники

Один основной источник. Как мы проверяем новости

  1. theverge.com