Meta снова делает ставку на открытые AI-модели и выпускает Muse Glimmer

Что произошло

Meta объявила о переходе к фокусу на больших языковых моделях с открытыми весами. В рамках этого шага компания выпустила открытую модель Muse Glimmer и заявила, что в ближайшие недели откроет веса Muse Spark 1.2, более мощной модели.

Одновременно Mark Zuckerberg опубликовал эссе объемом более 6 000 слов, где изложил подход Meta к AI-системам и их управлению. В тексте компания пытается отстроиться от OpenAI и Anthropic, которые развивают проприетарные модели.

Детали Muse Glimmer

Muse Glimmer — модель на 30 млрд параметров с контекстным окном на 128 000 токенов по умолчанию. Она была дистиллирована из Muse Spark, более крупной и более способной модели Meta, запущенной ранее в этом году.

Glimmer рассчитана на работу на локальных машинах пользователей, а не через облачный сервис или API. Ее веса открыты под лицензией Apache 2.0.

Как менялась стратегия Meta

Muse Spark была представлена в апреле как закрытая проприетарная модель пограничного класса. Это был первый крупный релиз Meta после значительной перестройки AI-команд в прошлом году и отход от прежнего акцента на моделях, которые в той или иной степени можно считать открытыми.

В июле, с выходом Muse Spark 1.1, Meta запустила свой первый платный сервис. Muse Spark 1.2 вышла 5 августа вместе с Muse Code, агентом для программирования в терминале.

Почему это важно

Разработчики в целом считают, что Muse Code пока уступает пограничным моделям Anthropic и OpenAI по возможностям, но хорошо конкурирует по стоимости. Это сближает его позиционирование со многими моделями с открытыми весами от китайских лабораторий.

Muse Glimmer как меньшая модель для потребительских GPU не должна конкурировать на том же уровне. Однако она отражает более широкий тренд на перенос части инференса на локальные устройства, чтобы снизить зависимость и расходы на модели крупных лабораторий вроде Anthropic и OpenAI.

Дискуссия вокруг открытых весов и дистилляции продолжается. 24 июля Nvidia, Hugging Face, Meta, Mistral, Mozilla, OpenAI и другие компании подписали открытое письмо Open Weights and American AI Leadership, где поддержали ценность моделей с открытыми весами и защищали дистилляцию как легитимную практику, отделяя ее от незаконных попыток извлечения ценности из закрытых моделей.