RECAP защищает длинные рассуждения при четырёхбитном сжатии

Низкобитные модели рассуждений удалось настроить так, чтобы накопленные ошибки реже ломали длинное решение. Хотя работу SpinEntropy, ETH Zurich и PolyU пока не рецензировали и числа получили сами авторы, RECAP повысил точность Qwen3-4B на AIME-120 на 15,8 процентного пункта. Для развёртывания таких моделей это меняет этап подготовки: улучшение не требует операций во время выдачи ответа.

При снижении разрядности модель хранит веса, промежуточные значения и кэш ключей и значений с меньшей точностью. Каждый новый шаг рассуждения перечитывает этот растущий кэш, поэтому небольшие ошибки накапливаются. Обычная калибровка на коротких отрезках не показывает модели раннюю часть решения, от которой зависят поздние шаги.

RECAP при каждом обновлении заново строит длинный префикс кэша с текущими параметрами сжатия, но восстанавливает только короткий активный блок. Этот блок сдвигается вдоль всей цепочки, поэтому калибровка охватывает каждую позицию без полного пересчёта последовательности на каждом шаге. Дополнительная функция ошибки сильнее штрафует те искажения кэша, которые заметнее меняют внимание модели: для ключей учитывается направление запроса, для значений — насколько часто модель к ним обращается.

В режиме W4A4KV4, где веса, активации и кэш хранятся в четырёх битах, RECAP обошёл FlatQuant на MATH500 с DeepSeek-R1-Distill-Qwen-1.5B на 13,3 процентного пункта. Метод совпал с FlatQuant или превзошёл его во всех сочетаниях моделей, разрядности и задач; наибольшая разница пришлась на длинные математические решения и генерацию кода.

Проверка охватывала три модели, пять наборов задач и два режима разрядности. Авторы сравнивали RECAP с QuaRot и FlatQuant, а несжатые модели BF16 использовали как ориентир. В основной конфигурации активный блок длиной 4K токенов читал префикс до 12K токенов; обе новые части метода использовались только при калибровке.

Источники

• RECAP: Calibrating Low-Bit Reasoning Models on the History They Read