Квантизатор распределил биты по времени жизни ошибки

Рекуррентное состояние гибридных языковых моделей удалось сжать точнее, если отдавать больше бит каналам, где ошибка живёт дольше. Хотя препринт Hongren Chen и Jiayang He не рецензирован и числа получили сами авторы, при среднем бюджете четыре бита метод снизил лишнюю ошибку в 3,3–27,9 раза относительно лучшего из семи вариантов сравнения. Это делает низкую разрядность перспективной для сокращения памяти, но пока не доказывает ускорение на GPU.

Гибридные модели хранят историю в матрице фиксированного размера и обновляют её с каждым токеном. Обычный квантизатор учитывает диапазон значений, но не различает каналы: в одних ошибка быстро затухает, в других сохраняется и влияет на последующие ответы.

Новый метод оценивает накопленный эффект ошибки через граммиан наблюдаемости — математическую меру того, насколько состояние влияет на будущие выходы модели. Эту оценку объединяют с диапазонами значений, нормализованными внутри связанных групп, а затем назначают каналам разную разрядность. Для этого не нужны калибровочные данные, дополнительное обучение или поворот матриц.

Качество измеряли через избыточную отрицательную логарифмическую правдоподобность: чем меньше её прирост относительно состояния FP32, тем ближе результат модели к исходному. При шести битах разница не превышала 0,005 нат. Четыре бита здесь означают среднюю полезную нагрузку; шкалы и карты разрядности увеличивают фактический объём хранения.

Основной результат проверяли на Kimi, Qwen3.8 и Qwen3.6 с WikiText, квантуя состояние после каждого токена. При записи состояния каждые 64 токена преимущество ослабло: метод лидировал или делил первое место в 11 из 15 сочетаний модели и бюджета. Квантизаторы имитировали программно, без замеров скорости ядер, поэтому работа пока отвечает на вопрос о качестве сжатия, а не о задержке и пропускной способности.

Источники

• Low-Bit Recurrent States in Hybrid Language Models