Модель Jev от бывшего исследователя OpenAI привлекла внимание разработчиков

Коротко

Jev не является большой языковой моделью и вместо текста выдает вероятности, которые TypeSafe AI называет калиброванными решениями.
Компания заявляет, что модель дешевле и быстрее благодаря отказу от генерации текста; выходные токены бесплатны, а входные тарифицируются за миллиард, а не за миллион.
После запуска спрос оказался настолько высоким, что TypeSafe AI ненадолго потеряла возможность обслуживать пользователей через API.
В тесте Vercel Jev обрабатывала результаты в 5–18 раз быстрее Luna от OpenAI и показывала более высокую точность.
В тесте Bryo AI модель Gemini оказалась немного точнее, но стоила в 10–20 раз дороже Jev.

Что произошло

Стартап TypeSafe AI выпустил Jev — трансформерную модель, которая не относится к большим языковым моделям и не генерирует текст. Вместо этого она возвращает вероятности, или так называемые калиброванные решения.

TypeSafe AI основал Diogo Almeida, ранее работавший исследователем в OpenAI и участвовавший в создании ChatGPT и метода обучения с подкреплением на основе обратной связи от людей (RLHF). Два года назад он покинул OpenAI, чтобы решить проблему, связанную с оптимизацией моделей под человеческий язык, а не под автоматизацию.

Как работает Jev

Пользователь заранее определяет возможные варианты ответа, поэтому модель не должна генерировать произвольный текст. По утверждению компании, это снижает риск галлюцинаций, а отказ от языка делает Jev быстрой и дешевой.

Выходные токены модели бесплатны, тогда как входные измеряются миллиардами, а не миллионами токенов. Jev предназначена прежде всего для программной автоматизации и может встраиваться в код как более дешевый и надежный способ добавить интеллектуальные функции.

Результаты тестов разработчиков

Pranit Sharma, инженер Vercel, рассказал, что компания использовала ChatGPT Luna 5.6 от OpenAI для классификации команд и проверки их безопасности. После замены Luna на Jev Vercel получила результаты в 5–18 раз быстрее и с более высокой точностью.

Nikhil Mudholkar, технический директор Bryo AI, сравнил Jev с Gemini при классификации деловых писем. Gemini оказалась немного точнее, но ее использование обошлось в 10–20 раз дороже. Mudholkar отдельно отметил вероятностные оценки Jev, которые можно применять для автоматизации рабочих процессов.

Зачем это нужно

Jev может не только заменять большие языковые модели в отдельных задачах, но и дополнять их, проверяя поведение систем. Diogo Almeida считает, что модель можно использовать для анализа следов работы агентов на базе больших языковых моделей и предотвращения джейлбрейков.

Armin Ronacher, технический директор Earendil, предупредил, что интерпретация вероятностей остается ответственностью пользователя. Например, результат с вероятностью 50% может восприниматься как случайный выбор, тогда как показатель 95% дает больше оснований для действия.