Black Forest Labs представила FLUX 3 с генерацией видео и применением в робототехнике

Что произошло

Black Forest Labs представила FLUX 3 — мультимодальную модель, которая объединяет работу с разными типами информации, а не использует отдельные инструменты рядом друг с другом.

Главная функция FLUX 3 — генерация видео. Модель создает клипы длиной до 20 секунд и одновременно генерирует звук, синхронизированный с картинкой: речь, звуковые эффекты и фоновый шум.

Как модель показала себя в сравнениях

В ранних оценках рецензенты предпочитали результаты FLUX 3 результатам Runway Gen-4.5 в 77% парных сравнений и Luma Ray 3.2 — в 93%. По сравнению с Gemini Omni и Seedance преимущество было небольшим: FLUX 3 выигрывала в 52% оценок.

При этом речь идет о тесте предпочтений, а не о фиксированной шкале: оценщики смотрели два клипа и выбирали тот, который выглядел и звучал убедительнее, после чего BFL подсчитывала долю побед FLUX 3.

Модель также остается способной в генерации статичных изображений. BFL показала несколько примеров, и FLUX 3 описывается как универсальная система, способная создавать разные стили, не ограничиваясь фотореализмом.

Зачем Black Forest Labs связывает видео с роботами

BFL подает FLUX 3 как нечто большее, чем инструмент для контента. Сооснователь и CEO Robin Rombach заявил: «Модель, которая учится только на изображениях, может только генерировать изображения».

Ставка компании в том, что обучение предсказанию видео помогает модели усваивать физику происходящего — вес, контакт и тайминг. Это важно для машин, которым нужно двигаться в физическом мире.

Эта идея реализована в FLUX-mimic. Система, созданная вместе с mimic robotics из Zurich, использует движок видеопредсказания FLUX 3 и добавляет легкий «декодер», который переводит внутреннее понимание движения в реальные движения робота.

Тесты на производстве Audi

Audi уже тестирует FLUX-mimic на задачах вроде установки гибких дверных уплотнителей — работе, с которой, как отмечается, традиционная автоматизация справлялась с трудом.

Сооснователь mimic Stephan-Daniel Gravert сказал, что Audi представляет именно тот тип производственного партнера, для которого создавали FLUX-mimic. Christoph Schneider из Audi заявил, что роботы теперь решают сложные задачи манипуляции мягкими объектами, недоступные старым машинам.

BFL утверждает, что полная система реагирует примерно за 101 миллисекунду, то есть находится в диапазоне, близком к человеческим зрительным рефлексам.

Контекст

Black Forest Labs была основана в августе 2024 года исследователями, которые участвовали в создании оригинальных моделей Stable Diffusion в Stability AI. После этого компания выпустила модели Flux, которые, по утверждению источника, превзошли MidJourney и Stable Diffusion 3.

Открытые модели Flux Dev и Schnell получили статус «лучшего open source генератора изображений», который AI-художники ожидали от Stable Diffusion 3.5. FLUX 1.1 Pro позже возглавила рейтинг изображений Artificial Analysis в октябре.