ByteDance готовит крупную AI-модель на фоне гонки с Anthropic

Коротко

ByteDance находится на ранней стадии обучения модели с числом параметров до 10 трлн.
Предварительное обучение модели обычно занимает от трех до шести месяцев, после чего ее могут дообучить и выпустить, если процесс пройдет успешно.
Anthropic не раскрывает размеры своих моделей, но отраслевые оценки приписывают Mythos 5 около 8 трлн параметров, а Fable 5 — около 5 трлн.
Команда Seed, отвечающая за разработку моделей ByteDance, насчитывает около 2 000 сотрудников в Китае и за его пределами.

Что произошло

ByteDance обучает AI-модель, которая может приблизиться по масштабу к наиболее продвинутой системе Mythos от Anthropic.

Компания находится на ранней стадии работы над моделью с числом параметров до 10 трлн. По словам трех людей, знакомых с ситуацией, это в три раза больше, чем у Moonshot Kimi K3, названной крупнейшей китайской моделью из уже выпущенных.

Детали разработки

Модель ByteDance проходит предварительное обучение. Один из собеседников сообщил, что этот этап обычно занимает от трех до шести месяцев, после чего модель дообучают и выпускают, если все идет по плану.

Точный размер модели определят на более позднем этапе.

Контекст конкуренции

Anthropic не раскрывает размеры своих моделей. Согласно отраслевым оценкам, Mythos 5 имеет около 8 трлн параметров, а Fable 5 — около 5 трлн.

Количество параметров задает базовую емкость или пределы памяти модели для хранения информации, но реальные возможности зависят и от других факторов, включая качество данных и методы обучения.

В последние недели модели Moonshot и Alibaba показали сильные результаты в бенчмарках, уступая только Anthropic Fable 5 в отдельных областях.

Почему это важно

Попытка ByteDance обучить одну из крупнейших AI-моделей в мире показывает стремление китайских лабораторий не только догнать, но и превзойти американских конкурентов на передовом уровне AI.

Инсайдеры отрасли утверждают, что несколько китайских лабораторий обучают модели масштаба Fable 5, а ByteDance сейчас действует наиболее амбициозно в гонке за крупнейшую модель.

AI-направление ByteDance

ByteDance, владелец TikTok, до сих пор развивала AI менее публично, поскольку ее модели в основном закрыты, в отличие от многих китайских конкурентов.

Ее модель SeeDance относится к числу наиболее продвинутых в мире в генерации видео, а потребительская модель Doubao является самой популярной в Китае и имеет 324 млн активных пользователей в месяц.

За последние три года ByteDance активнее других китайских технологических гигантов инвестировала в AI, развивая сеть дата-центров и нанимая исследователей. Компания также усилила направление Volcano Engine, которое продает AI-решения для бизнеса, и имеет планы по разработке собственных AI-чипов.

Команду Seed возглавляет бывший ученый Google DeepMind Wu Yonghui. В ней около 2 000 участников в Китае и за рубежом, включая исследователей, инженеров инфраструктуры, команду разметки данных и переводчиков.