Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Служебные варианты LLM можно хранить почти в 16 раз компактнее без обязательной потери качества. В нерецензированном препринте Juyoung Park и Heejun Lee приводят собственные замеры BQ-LoRA: бинарные адаптеры превзошли QLoRA на всех проверенных размерах Qwen2.5, хотя на LLaMA-2 результат оказался смешанным. Подход меняет расчёт инфраструктуры там, где один сервер обслуживает много специализированных вариантов одной модели.
Один масштаб вместо тысяч точных коэффициентов
LoRA позволяет дообучить модель, не меняя её основные веса. Для каждого выбранного слоя она хранит две небольшие матрицы, которые описывают поправку к исходной модели. QLoRA сокращает базовые веса до четырёх бит, но сами адаптеры оставляет в FP16 — формате с шестнадцатью битами на параметр.
BQ-LoRA заменяет каждый параметр адаптера знаком: плюс или минус. Чтобы такая матрица могла задавать не только направление, но и величину поправки, у каждого слоя появляется обучаемый коэффициент масштаба. Он начинается с нуля, поэтому в начале дообучения адаптер ничего не меняет и затем постепенно усиливает своё влияние.
Во время обучения метод всё равно хранит скрытые параметры в FP32. В прямом проходе используются только их знаки, а градиент проводят через дискретную операцию приближённо. Поэтому BQ-LoRA сокращает память после обучения, но не решает проблему нехватки памяти при самом дообучении.
Бинаризация здесь работает ещё и как встроенное ограничение. Обычный LoRA-адаптер может сосредоточить поправку в нескольких направлениях и подогнаться под обучающие примеры. У BQ-LoRA величину обновления в основном задаёт один коэффициент слоя, а бинарные матрицы распределяют его по доступным направлениям равномернее. Теоретический разбор относится к одному линейному слою, поэтому не описывает целиком поведение Transformer, но эксперименты показывают ожидаемый признак: ошибка на обучающих данных выше, а качество на проверочных задачах не падает.
На Qwen2.5 бинаризация помогла, на LLaMA-2 — не всегда
На Qwen2.5 средний результат BQ-LoRA оказался выше QLoRA на 0,8–3,5 пункта при сокращении размера адаптера в 13–16 раз. Преимущество сохранилось на всех проверенных масштабах этой линейки — от 1,5 до 72 млрд параметров.
На WikiText-2 бинарный адаптер Qwen2.5-7B отклонился от исходной четырёхбитной модели по перплексии лишь на 0,06 пункта; этот показатель отражает, насколько уверенно модель предсказывает продолжение текста, и меньшее значение лучше. QLoRA ухудшил тот же показатель на 0,59 пункта. Время одного шага обучения BQ-LoRA выросло менее чем на 4%, а пиковая память осталась на уровне QLoRA.
Результат не переносится автоматически на любую основу. На LLaMA-2 метод оставался сопоставим с QLoRA и LoftQ, но не превосходил лучший вариант во всех конфигурациях и заметно уступал на отдельных задачах. Проверки охватывали Qwen2.5 и LLaMA-2, английский набор Alpaca и адаптеры только для проекций внимания; работу с кодом, несколькими языками и адаптерами для остальных слоёв не испытывали.
Планы меняются, если на одном GPU живёт много адаптеров
Для команды, которая выпускает одну дообученную модель, экономия невелика в абсолютных величинах: LoRA и так занимает гораздо меньше памяти, чем базовые веса. BQ-LoRA становится полезнее, когда общий сервер держит отдельные адаптеры для клиентов, ролей или бизнес-процессов и переключает их для каждого запроса.
В прототипе BQ-SGMV один A100-80GB вмещал в быстрой памяти GPU в 15,6 раза больше адаптеров. Разработчики изменили вычислительное ядро Punica SGMV: вместо операций с FP16 оно читает упакованные биты, выполняет бинарное скалярное произведение и затем применяет масштаб слоя.
При синтетической нагрузке с неравномерной популярностью адаптеров увеличенный кеш полностью устранил промахи, когда весь рабочий набор поместился в память. Пропускная способность в сценарии с нехваткой кеша выросла в 1,4 раза. Это не готовая замена для промышленного контура: ядро пока проверяли как исследовательский прототип на одном типе GPU и не интегрировали с vLLM или TGI.
Поэтому менять способ обучения ради BQ-LoRA пока рано: он не снижает требования к памяти и оптимизатору. Но при проектировании платформы с сотнями или тысячами LoRA-вариантов стоит отделить формат обучения от формата обслуживания. Если результаты воспроизведутся в используемом сервере, бинарное хранение позволит либо сократить число GPU, либо держать больше адаптеров рядом с базовой моделью без загрузки из оперативной памяти.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



