PrismML адаптировала компактную LLM для умных очков на чипах Qualcomm

Что произошло

AI-лаборатория PrismML, основанная исследователями Caltech при консультационной поддержке Ion Stoica из UC Berkeley, разработала версию компактных языковых моделей для умных очков на чипах Qualcomm.

На Snapdragon Summit компания Qualcomm показала 1-битную Bonsai LLM, способную работать непосредственно на умных очках с платформой Snapdragon AR1 Gen 1 Platform.

Особенности модели

PrismML утверждает, что умеет значительно уменьшать крупные модели — в рассматриваемом случае в четыре раза — при сохранении почти всей их производительности в стандартных тестах.

Версия для умных очков содержит 2 млрд параметров и настроена на работу с изображениями и языком. Благодаря этому пользователь может в реальном времени спрашивать, на что он смотрит.

Почему это важно

Prism стремится создавать AI с открытыми весами, который работает на устройствах и эффективнее использует доступные им вычислительные ресурсы.

Стартап позиционирует такой подход как альтернативу зависимости от заявлений о конфиденциальности со стороны разработчиков закрытых AI-систем и их растущей потребности в вычислительных мощностях.

Выпуск модели для чипа Qualcomm стал одним из шагов к этой цели.

Что пока неизвестно

Умные очки, работающие на PrismML, пока не анонсированы.