Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ранг LoRA можно расходовать точнее: второй адаптер стоит направлять туда, где первый не использовал градиент задачи. Хотя препринт не прошёл рецензирование, все числа получили сами авторы: на GLUE с RoBERTa-base ReGRA обошёл обычный LoRA с рангом 8 на 1,53 процентного пункта в среднем. Метод добавляет калибровку и второй цикл обучения, зато после слияния не замедляет выдачу.
Почему полный ранг LoRA не гарантирует полезного обновления
LoRA не меняет исходные веса модели напрямую во время обучения. Вместо этого она учит компактное матричное обновление заданного ранга, которое затем можно прибавить к весам. Чем выше ранг, тем больше независимых направлений может описать адаптер, но работа показывает, что часть этой ёмкости не помогает задаче.
Для диагностики обученное обновление разложили на сингулярные компоненты — направления, упорядоченные по величине вклада в матрицу. У LoRA с рангом 16 лучший результат получился, когда оставили только три ведущих компонента. Возврат остальных направлений ухудшал качество, хотя формально делал обновление полнее.
ReGRA поэтому делит обучение на две стадии. Сначала команда обучает обычный LoRA-адаптер, фиксирует его и через сингулярное разложение находит занятые им входные и выходные подпространства. Затем на небольшой калибровочной части обучающих данных метод вычисляет градиенты задачи и вычитает ту часть, которая одновременно попадает в оба подпространства первого обновления.
Оставшиеся градиенты накапливаются по пакетам и снова раскладываются на ведущие направления. Ими инициализируют входную матрицу второго адаптера, а его выходную матрицу обнуляют. Благодаря нулевой матрице модель в момент перехода сохраняет результат первой стадии, но первый шаг обучения уже идёт вдоль остаточного градиента.
Во время второй стадии первый адаптер остаётся замороженным. Дополнительный штраф удерживает два обновления близкими к ортогональным, чтобы второе не повторяло первое. После обучения обе матрицы прибавляются к исходным весам, поэтому отдельная ветвь адаптера при выдаче не нужна.
Остаточный градиент дал прибавку на языке, математике и коде
На GLUE ReGRA улучшил средний результат RoBERTa-base относительно LoRA с рангом 8 на 1,53 процентного пункта. Он также превзошёл LoRA с тем же суммарным рангом обновления, то есть выигрыш нельзя объяснить только добавлением второй матрицы.
Диагностика отдельных направлений подтверждает исходную гипотезу. Если убрать ведущую сингулярную компоненту из обычного LoRA, средняя точность на математических задачах падает на 8,03 процентного пункта. Остальные компоненты влияют слабее, а удаление некоторых немного улучшает результат.
В проверках на математике ReGRA получил лучший средний результат с Llama-3-8B и Qwen3-8B-Base, хотя выигрывал не на каждом отдельном наборе. На генерации кода он лидировал на MBPP и более строгом MBPP+, но отрыв от LoRA того же суммарного ранга оставался небольшим.
Разбор метода показал, что основную прибавку даёт инициализация остаточным градиентом. Штраф за сходство обновлений добавляет меньший эффект. Это важное различие: результат связан прежде всего с выбором нового направления, а не просто с последовательным обучением двух адаптеров.
Когда ReGRA стоит закладывать в план обучения
Работа меняет план там, где команда уже выбрала LoRA и собирается повышать ранг ради качества. Вместо одного адаптера ReGRA предлагает последовательно обучить два, причём второй использует сведения о том, что успел выучить первый. Такой вариант имеет смысл сравнить с прямым увеличением ранга до начала полного цикла экспериментов.
Цена этого решения проявляется при обучении. Между стадиями нужно прогнать калибровочные пакеты, временно сформировать плотные градиенты, спроецировать их и сжать. Затем требуется отдельный цикл для второго адаптера. Работа не приводит времени обучения или расхода GPU, поэтому оценить накладные расходы для конкретной инфраструктуры по ней нельзя.
При выдаче архитектура не усложняется: оба обновления сливаются с базовой моделью. До слияния, однако, команда хранит два адаптера, а их суммарное обновление может занимать больший ранг, чем каждая стадия отдельно. ReGRA экономнее расходует этот суммарный ранг, но не превращает два адаптера в объём одного.
Метод проверяли на понимании языка, математических рассуждениях и генерации кода. Адаптеры ставили только в проекции запросов, ключей и значений моделей RoBERTa, Llama-3-8B и Qwen3-8B-Base; сравнивали с LoRA, DoRA, PiSSA, LoRA-One и KeepLoRA. Часть анализа опирается на одиночные запуски, поэтому перед заменой существующей схемы нужен контрольный эксперимент на собственной модели и данных.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
