Исследователи Multiverse Computing уменьшили GPT-OSS и улучшили его результаты

Что произошло

Команда Multiverse Computing представила подход к сжатию AI-моделей, при котором уменьшенная версия оказалась не просто дешевле, но и точнее в сравнении с рядом альтернатив.

Исследователи сократили GPT-OSS до 60 млрд параметров и перевели параметры в 4-битный формат. Обычно такое сжатие ухудшает качество модели, однако авторы работы утверждают, что нашли способ его улучшить.

Как работает подход

Обычная схема исправления ошибок после сжатия сравнивает маленькую модель с промежуточной версией — моделью на 60 млрд параметров с более высокой точностью. Проблема в том, что такая промежуточная модель уже является ухудшенной копией оригинала.

Quantization-Aware Healing меняет цель обучения: малая модель ориентируется на ответы большого несжатого оригинала. В статье исследователи пишут, что квантование в такой схеме становится не только способом снизить издержки, но и дополнительной возможностью для обучения под надзором более сильной модели.

Почему это важно

Сжатие моделей напрямую связано с затратами на память и электроэнергию: у OpenAI GPT-OSS 120B — 120 млрд параметров, и каждый из них требует ресурсов для хранения и работы.

По данным материала, «исцеленная» модель требует примерно четверть памяти и имеет вдвое меньше параметров, чем оригинал. Это может приблизить запуск более мощных AI-моделей за пределами дата-центров — на настольных компьютерах, а в перспективе и на телефонах.

Контекст

Обычно уменьшение модели воспринимается как компромисс: чем сильнее сжатие, тем выше риск потери качества. В этом случае исследователи утверждают, что компромисс удалось частично обойти: 4-битная модель с 60 млрд параметров на 7 из 9 тестов превзошла промежуточную 60-миллиардную версию, хотя исходная модель на 120 млрд параметров все еще чаще остается сильнее.