Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Рецепт квантования языковой модели теперь можно подбирать автоматически под конкретную модель и разрядность, а не собирать вручную заново. QDA повысила среднюю точность моделей на 0,9–2,2 процентного пункта относительно лучших общедоступных рецептов, хотя препринт не рецензирован, а числа получили сами авторы. Такой поиск сокращает объём ручной работы при подготовке LLM к эксплуатации.
Систему разработали Xingyang Li, Tianlang Zhao, Song Han и Ligeng Zhu. Агент последовательно выбирает способы преобразования и округления весов, настройки шкал и данные для калибровки. Он может сочетать методы из общей библиотеки, куда вошёл 21 способ квантования после обучения — уменьшения разрядности уже обученной модели без повторного обучения с нуля.
Главное ускорение даёт предварительная оценка кандидатов. Вместо полной генерации ответов QDA сравнивает распределения следующего токена у исходной и квантованной моделей на скрытых от агента цепочках рассуждений. Такая проверка обходится в 350–990 раз дешевле полного прогона. Для лучших кандидатов система всё же генерирует длинные ответы, чтобы обнаружить циклические повторы и преждевременные обрывы. Один поиск занимает 64 GPU-часа, а готовая модель работает на существующих ядрах выполнения без дополнительных расходов при выводе.
Основную проверку провели на четырёх рассуждающих моделях с разными архитектурами: обычными трансформерами, гибридным вниманием и смесью экспертов. Рецепты искали для нескольких сочетаний трёх- и четырёхбитных весов с активациями разной разрядности, а сравнивали с самым точным общедоступным рецептом для каждого случая. Отдельно QDA проверили на GLM-5.3-Flash с 320 млрд параметров: квантованная версия сохранила 98,3% точности модели в FP8 против 96,9% у лучшей контрольной точки поставщика. Результат показывает, что единый фиксированный рецепт переносится между моделями хуже, чем поиск под конкретную пару модели и формата.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



