PrismML выпустила Bonsai 27B: компактную AI-модель для запуска на iPhone

Что произошло

PrismML выпустила Bonsai 27B — AI-модель класса 27B размером 3,9 ГБ. В источнике говорится, что это первая модель такого класса, преодолевшая ограничение памяти потребительского смартфона.

На iPhone 17 Pro Max Bonsai 27B работает со скоростью 11 токенов в секунду. Тернарная версия занимает 5,9 ГБ и на ноутбуке с M5 Pro выдает около 26 токенов в секунду.

Как работает сжатие

Метод сжатия основан на интеллектуальной собственности Caltech. Он уменьшает каждый вес модели с 16 битов точности с плавающей запятой до одного знака: +1 или -1 в бинарной версии и одного из трех значений в тернарной.

Каждая группа из 128 весов использует общий 16-битный масштабирующий коэффициент. В результате бинарная версия достигает 1,125 бита на вес и становится в 14 раз меньше полноточного оригинала. Тернарная модель добавляет нулевое состояние и занимает 1,71 бита на вес.

В отличие от многих низкобитных моделей, Bonsai сжимает архитектуру сквозным образом: эмбеддинги, механизм внимания и полную языковую голову модели. В источнике отмечается, что другие квантованные сборки часто оставляют некоторые чувствительные слои в полной точности, увеличивая размер ради качества.

Контекст

Это второй крупный релиз в линейке Bonsai. В марте PrismML выпустила Bonsai 8B — модель размером 1,15 ГБ, которая, по утверждению источника, показала работоспособность 1-битной архитектуры на 8 млрд параметров.

Переход к 27 млрд параметров важен для задач, где требуются устойчивые рассуждения, надежное использование инструментов и многошаговое агентное поведение.

Почему это важно

Обычно 27-миллиардная модель считается средней по отраслевым меркам и требует около 54 ГБ памяти при половинной точности. Bonsai 27B показывает, что модель такого класса можно уместить в объем памяти смартфона.

На бенчмарках Ternary Bonsai 27B в режиме рассуждений на NVIDIA H100 GPUs в среднем набрала 80,49, что соответствует 94,6% результата полноточной модели. Также в источнике говорится, что по соотношению возможностей к размеру модели выглядят лучше, чем Gemma 4 или Qwen 3.6.