Mistral AI представила мультимодальную модель Large 4 с триллионом параметров

Что произошло

Mistral AI выпустила Mistral Large 4, крупную мультимодальную модель, которая должна конкурировать с решениями американских и китайских разработчиков. Компания представляет её как альтернативу как закрытым моделям, так и моделям с открытыми весами.

В компании рассчитывают, что модель станет одной из лучших среди решений с открытыми весами, особенно за пределами Китая. При этом результаты сравнительных тестов ещё не опубликованы.

Доступ и технические особенности

Mistral Large 4 получила прозвище Le Chonk из-за одного триллиона параметров. На момент выпуска модель ещё не имеет открытых весов: пользователи могут обращаться к ней только через публичный защищённый интерфейс.

Mistral AI намерена предоставить веса через три недели после завершения тестирования безопасности. Компания также планирует работать с доверенными партнёрами и государственными структурами, чтобы открытые веса можно было использовать для защиты, но не для вредоносных атак.

Модель обучали полностью на вычислительных ресурсах Mistral с использованием 4 000 графических процессоров NVIDIA. По словам Pierre Stock, это в два-три раза меньше, чем у китайских конкурентов, и существенно меньше, чем у разработчиков закрытых моделей.

Почему это важно

Mistral AI рассчитывает, что целевое обучение позволит Mistral Large 4 превзойти закрытые модели в отдельных задачах, важных для клиентов, особенно там, где полезны мультимодальные возможности.

По словам компании, оптимизированные сценарии использования включают кибербезопасность, финансы и проектирование микросхем. Последнее направление связано с интересами двух крупных инвесторов Mistral — ASML и Samsung.

Контекст

Безопасность открытых моделей в последние месяцы стала особенно важной темой для предприятий и учреждений, которые относятся к ключевой аудитории Mistral AI. При этом модели с открытыми весами легче проверять, отмечает компания.

Ранее Mistral AI стремилась показать, что размещение китайских моделей не означает превращения компании только в поставщика вычислений. С выпуском Le Chonk она по-прежнему претендует на статус разработчика передовых моделей.