Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Квантизация после обучения ломает трансформеры с повторным использованием слоёв по двум независимым причинам: ошибка возвращается в цикл, а калибровка видит только первый проход. Хотя препринт Nux Li из Meta не рецензирован и числа получил сам автор, калибровка на всех шагах цикла обошла обычный GPTQ и простое округление на каждой проверенной версии модели. Для таких архитектур калибровочные данные нужно собирать по всей траектории, а не только при первом вызове слоя.
В четырёхбитном формате INT4 одни и те же округлённые веса участвуют в каждом проходе. Если слой меняет рекуррентное состояние без остаточной связи, по которой исходное состояние могло бы обойти преобразование, его ошибка попадает в следующий шаг и снова проходит через этот же слой. Автор называет такой механизм незащищённой обратной связью.
На Huginn-3.5B квантизация входного адаптера сохранила лишь 10,5% предсказаний bf16, тогда как квантизация всех слоёв основного блока сохранила 87,9%. Обычные оценки чувствительности считали адаптер одним из наименее опасных мест, потому что измеряли только локальное изменение выхода и не учитывали возврат ошибки через цикл.
Вторая проблема возникает в GPTQ, который выбирает округление по статистике входов слоя. На первом шаге статистика адаптера Huginn охватывала 43 значимых направления, а после сбора данных по всей траектории — 335. Поэтому GPTQ с калибровкой на одном проходе оказался хуже RTN, то есть простого округления до ближайшего значения, на пяти из девяти версий моделей.
Проверка охватила семь рекуррентных архитектур размером до 4,17 млрд параметров, включая Huginn, R-Llama, Ouro, LoopFormer и COCONUT. Отдельные опыты на линейных фильтрах и Mamba подтвердили, что сильнее всего вредит квантизация перехода, который возвращает состояние в цикл. Калибровка по траектории улучшила основной показатель во всём наборе, но не во всех случаях вернула качество полной точности.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
