Журнал · Rit.work

Квантованной LLM нужны свои температура и top-p

TempQuant подбирает параметры генерации по ответам полновесной модели и возвращает часть точности, которую LLM потеряла после квантования.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Настройки генерации для полновесной LLM нельзя без проверки переносить на её квантованную версию. На Qwen3-4B после агрессивного квантования точность на MATH выросла с 34% до 51%, хотя это нерецензированный препринт и все числа в нём получили сами авторы. Команде нужно считать температуру и top-p частью настройки каждой конкретной сборки модели, а не общими параметрами семейства.

Квантование меняет не только веса, но и случайность ответа

Температура определяет, насколько сильно модель предпочитает самые вероятные токены. Чем она ниже, тем уже выбор; чем выше, тем больше вероятность менее ожидаемого продолжения. top-p дополнительно отсекает хвост распределения: генератор оставляет наиболее вероятные токены, пока их суммарная вероятность не достигнет заданного порога.

Квантование хранит веса модели с меньшей точностью и тем самым искажает вероятности следующего токена. В среднем распределение становится шире: квантованная Qwen3-4B при температуре 0,6 по энтропии соответствовала полновесной модели при 0,74. Простое охлаждение, однако, исправляет не все ошибки.

На большинстве шагов обе версии выбирают один и тот же самый вероятный токен. Здесь квантование главным образом размывает распределение, поэтому снижение температуры приближает его к BF16.

На других шагах порядок кандидатов меняется: токен, который предпочитает BF16, опускается ниже. Тогда повышение температуры возвращает ему часть вероятности. Таких шагов меньше, но на них сосредоточена основная разница между моделями, поэтому одна фиксированная поправка вынуждена искать компромисс между охлаждением и нагревом.

Как TempQuant подбирает параметры без размеченных ответов

TempQuant сравнивает распределения следующего токена у BF16 и квантованной модели после одной и той же последовательности. Цель — подобрать для квантованной версии такую температуру и такой порог top-p, чтобы её вероятности приблизились к вероятностям исходной модели.

Практический вариант работает глобально. Для каждой запрошенной температуры команда прогоняет набор неразмеченных примеров через обе версии, перебирает пары параметров и выбирает пару с наименьшим расхождением распределений. В основном опыте при запросе 0,6 метод назначил квантованной модели температуру 1,01 и top-p 1, то есть полностью убрал отсечение хвоста.

Это выглядит противоречиво: квантование в среднем уже «нагревает» модель, но TempQuant нагревает её ещё сильнее. Причина в выбранной цели. Метод не выравнивает среднюю энтропию, а старается вернуть вероятность токенам, чей порядок изменился после квантования.

Работа рассматривает прямое расхождение Кульбака — Лейблера, обратный вариант и расхождение Йенсена — Шеннона. Первая мера сильнее штрафует ситуацию, когда квантованная модель недооценивает важный для BF16 токен, поэтому чаще выбирает нагрев. Обратная мера сильнее наказывает лишнюю вероятность у слабых кандидатов и тяготеет к охлаждению.

Есть и вариант с настройкой на каждом шаге. Небольшой контроллер читает ведущие оценки токенов и характеристики их распределения, после чего назначает новую температуру и top-p. При обучении обе LLM остаются замороженными; после обучения полновесная версия больше не нужна, но в контуре генерации появляется дополнительный компонент.

Что менять в плане внедрения квантованной модели

Перенос параметров из карточки исходной модели больше нельзя считать безопасной отправной точкой для промышленного профиля. После выбора формата квантования стоит отдельно калибровать генератор на запросах, похожих на рабочие, причём повторять процедуру для каждой модели и способа квантования.

Глобальный TempQuant подходит первым шагом: он использует стандартные параметры генератора и ничего не добавляет к стоимости рабочего запроса. Для калибровки, однако, нужен доступ к BF16 и к полным распределениям обеих версий. Обычный подбор по размеченным ответам в опыте потребовал около 7 800 проверенных генераций и 170 миллионов сгенерированных токенов; TempQuant заменяет эту процедуру неразмеченными примерами.

Пошаговый контроллер имеет смысл, когда одной пары параметров недостаточно и инфраструктура допускает изменение генератора. Он умеет по-разному обрабатывать шаги с сохранённым и изменившимся порядком токенов, но требует отдельного обучения и поддержки в рабочем контуре. Для обычного API, где доступны только фиксированные температура и top-p, применим лишь глобальный вариант.

Проверки сосредоточены на Qwen3-4B: основная конфигурация использует 3-битный GPTQ, менее агрессивная — 4-битный MXFP4. Метод оценивали на задачах рассуждения и суммаризации при нескольких режимах температуры; самый заметный выигрыш появился там, где квантование сильнее ухудшало точность. Поэтому результат обосновывает отдельную калибровку, но не обещает такой же прирост для любой архитектуры и любого формата весов.

Если квантование почти не снижает итоговую точность, TempQuant всё равно может приблизить поведение к BF16: две версии будут чаще выбирать одинаковые продолжения, а не просто получать похожий средний балл. Для продукта это важно, когда команда уже проверила стиль, ограничения и пограничные случаи полновесной модели и ожидает сохранить их после сжатия.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу