Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Готовые языковые модели можно переводить в троичные веса за несколько GPU-часов и терять меньше знаний, чем при обычном квантовании после обучения. Хотя препринт Harvard University и Georgia Tech не прошёл рецензирование и числа получили сами авторы, на Qwen3-14B один только выбор оси масштаба поднял результат MMLU с 25,4 до 38,5. Метод позволяет сжимать существующие контрольные точки без повторного обучения модели с нуля.
Коэффициент масштаба привязали к функции вектора
Троичное представление оставляет каждому весу одно из трёх значений: минус единицу, ноль или плюс единицу. Коэффициент масштаба возвращает этим кодам приблизительную величину исходных весов. От того, какие веса используют общий коэффициент, зависит, насколько точно квантованная матрица повторяет работу исходной.
Обычные форматы выбирают общие коэффициенты по строкам или столбцам матрицы, потому что так устроено хранение данных. RoleQ смотрит не на раскладку, а на роль вектора внутри Transformer. Векторы, которые читают данные из общего потока между блоками, получают коэффициент на каждый выходной элемент. Векторы, которые записывают результат обратно, получают его на каждый входной элемент.
Такой выбор отделяет величину функциональной единицы от направления, которое приближает троичный код. Например, нейрон полносвязного блока читает общий поток одним вектором и записывает результат другим. Если назначить коэффициенты по неподходящей оси, один масштаб начинают делить элементы, которые относятся к разным нейронам или головам внимания.
Само правило не требует данных для калибровки, перебора двух осей или сохранения отдельного решения для каждого слоя. Оно работает и для целочисленных форматов с большей разрядностью, но сильнее всего влияет на троичное представление: при столь малом числе кодов неудачно выбранный общий масштаб быстро стирает различия между функциональными единицами.
Как существующую модель переводят в троичный формат
Полная схема RoleQ-T начинается с поворота пространства весов. Он распределяет редкие крупные значения, которые особенно трудно приблизить при низкой разрядности. Поворот подбирают по самим весам, без текстовой выборки, а затем встраивают в матрицы модели.
После поворота изменённый GPTQ последовательно заменяет веса троичными кодами и компенсирует ошибку в ещё не обработанных координатах. Для читающих и записывающих векторов коэффициент приходится подбирать на разных этапах прохода: у первых он лежит поперёк направления обхода, у вторых — вдоль него. RoleQ сохраняет привычную жадную схему GPTQ, но меняет место, где вычисляется масштаб.
Следующий этап корректирует только коэффициенты и усиление нормализации, а троичные коды остаются замороженными. Для этого нужны неразмеченные тексты и ответы исходной модели. Такое дообучение занимает несколько GPU-часов, поскольку почти все параметры не меняются.
Дополнительный вариант добавляет второй разреженный троичный слой только важным функциональным единицам. Их выбирают по тому, насколько ошибка квантования меняет функцию потерь. Это точнее, чем ориентироваться только на величину ошибки в весах: крупное отклонение не обязательно влияет на ответ модели, а небольшое может повредить фактические знания.
Метод проверяли на Qwen3 и Llama-3.1 размером от 0,6 до 14 млрд параметров. Качество измеряли по перплексии WikiText2, средней точности на семи заданиях без примеров и MMLU с пятью примерами. Сравнение охватывает стандартное размещение коэффициентов, другие способы троичного преобразования после обучения и методы с более сложными двухбитными кодами.
Для внедрения важнее сохранение знаний, чем номинальный размер
На Qwen3-8B-Base базовый вариант RoleQ-T занимает 1,59 бита на вес с учётом обязательных служебных данных и набирает 47,6 балла MMLU против 77 у исходной модели. Значит, прямое троичное преобразование всё ещё заметно повреждает знания, даже если перплексия выглядит приемлемо. Оценивать такой формат только по предсказанию следующего токена рискованно.
Второй троичный слой повышает расход до 2,16 бита на вес и возвращает результат MMLU до 62,8. Дополнительную точность метод тратит не равномерно, а на единицы, чувствительные к ошибке. Для продукта с жёстким ограничением памяти это даёт промежуточную точку между минимальным размером и сохранением фактов.
RoleQ меняет планы команд, которые собирались брать готовую модель и квантовать её ниже четырёх бит без долгого обучения. Ось коэффициентов теперь стоит выбирать по роли матрицы, а бюджет точности — распределять по влиянию на итоговую потерю. Эти решения можно добавить в собственный конвейер преобразования контрольных точек.
Работа не показывает готового преимущества по задержке на телефонах, в браузерах или на серверных ускорителях. Троичные матрицы позволяют заменить умножения сложениями и вычитаниями, но выигрыш по времени потребует специализированных ядер. Поэтому RoleQ пока обосновывает качество и объём модели, а не скорость конкретного развёртывания.
Метод также не заменяет более сложные двухбитные кодеки во всех случаях: на Llama-3.1-8B-Instruct при сопоставимом размере методы с кодированием через решётки и деревья обошли RoleQ по всем трём метрикам. Выбор зависит от того, важнее ли простое троичное вычисление или максимальное качество в заданном объёме памяти.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
