Персонализация становится следующим этапом развития моделей принятия решений
Более четверти запросов через маршрутизатор Vercel в октябре пришлось на модели принятия решений. Стартап Sqwish предлагает дообучать такие модели на данных клиентов
Один основной источник · Как мы проверяем новости

Что произошло
Модели принятия решений стали заметной частью использования AI-инфраструктуры. В октябре более четверти запросов через маршрутизатор AI-моделей Vercel направлялось к ним, а не к LLM.
На этом рынке усиливается конкуренция. После появления Jev были выпущены десятки аналогичных моделей, а Microsoft объявила о широком запуске Microsoft-Decision-1.1 на Azure.
Как работают такие модели
Модели принятия решений используют возможности LLM, но не генерируют выходные токены. Вместо этого они быстро и недорого выбирают один из заранее заданных вариантов и фиксируют уровень уверенности в выборе.
Их применение особенно актуально в производственных средах, где скорость решения может быть важнее рассуждений более медленной и дорогой передовой модели.
Ставка на данные клиентов
Sqwish, британский AI-стартап, создала модель kettei fat и привлекла $3 млн на ранней стадии финансирования. Основатели Ushnish Sengupta и Federica Freddi ранее разрабатывали небольшие LLM и адаптировали свои архитектуры для модели принятия решений.
По словам TypeSafe CEO Diogo Almeida, ключевой сложностью при создании Jev была точная калибровка её суждений с помощью статистически скорректированных синтетических данных. Sqwish также использует синтетические данные, но дополнительно предлагает встроенные инструменты дообучения на собственных данных заказчика.
По замыслу Sqwish, клиенты смогут регулярно загружать производственные данные, чтобы модель продолжала улучшаться на задачах, которые для них важны.
Почему это важно
Сравнивать модели принятия решений только по тестам сложно. Модель Sqwish хорошо показала себя в некоторых тестах, однако разработчики обычно предлагают проверять её непосредственно в конкретном рабочем контексте, где одну модель относительно просто заменить другой.
В Sqwish считают, что тесты должны лишь побуждать попробовать модель, тогда как постоянная настройка помогает удержать клиента. Microsoft при разработке Microsoft-Decision-1.1 также балансировала стоимость, задержку, интеллектуальные возможности и калибровку; руководитель проекта Achint Srivastava назвал чрезмерное внимание к тестам ошибкой.
Источники
Один основной источник. Как мы проверяем новости


