Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Параметрически эффективную донастройку (PEFT) теперь можно сравнивать не только по числу обучаемых параметров и итоговому качеству, но и по тому, какие веса метод вообще способен получить. Xiaoyu Li и соавторы построили формальную карту 382 методов из 138 работ; поскольку препринт не рецензировался и все числа получили сами авторы, карту пока стоит воспринимать как основу для проверки архитектурных решений. Она помогает заранее отсечь варианты, чьи ограничения не исправят другой инициализацией или дополнительными циклами обучения.
Три свойства объясняют различия между методами
Обычное сравнение по бюджету параметров скрывает важную разницу. Два адаптера одинакового размера могут охватывать разные множества весов, по-разному вести себя на первом шаге и требовать разных настроек оптимизатора.
Работа описывает каждый метод как отображение из небольшого пространства обучаемых параметров в полное пространство весов модели. Исходный чекпойнт служит начальной точкой, а результатом обучения становится одно из положений, доступных этому отображению.
Первое свойство — образ отображения рядом с начальной точкой. Он показывает, какие изменения доступны сразу, какова размерность доступного множества и какой максимальный ранг может иметь обновление. Ранг здесь измеряет число независимых направлений, в которых адаптер способен изменить матрицу весов.
Второе свойство — наборы параметров, которые дают одни и те же веса. Например, факторы LoRA можно преобразовать несколькими способами, сохранив их произведение. Для модели эти варианты равны, но оптимизатор видит разные координаты и может провести обучение по разным траекториям.
Третье свойство — перенос начальной точки. Он объединяет в одной схеме раздельную инициализацию факторов, квантование, перезапуск после слияния и повторное обучение адаптера. Так становится видно, когда операция только иначе записывает тот же метод, а когда меняет доступное множество весов.
Инициализация LoRA меняет первые шаги, но не снимает предел ранга
LoRA с одним нулевым фактором начинает в вершине конуса. В этой точке первые производные не охватывают часть направлений, которые станут доступны позже. Инициализации со взаимно компенсирующимися ненулевыми факторами, как в PiSSA, стартуют в гладкой точке и сразу видят другой набор направлений.
Это различие не превращает одну инициализацию в универсально более выразительную. Доступные множества весов у нулевого и раздельного старта не вложены друг в друга. При этом никакая точная инициализация LoRA ранга r не позволяет получить обновление выше ранга 2r; раздельный старт может достичь этой границы, если размеры матрицы её допускают.
Для QLoRA квантование сдвигает начальную точку относительно исходных весов. Вернуться точно к исходной матрице можно лишь тогда, когда ранг ошибки квантования не превышает ранг адаптера. В типичном случае эта ошибка затрагивает больше направлений, поэтому адаптер обучается уже вокруг другой базы, а не вокруг точной копии чекпойнта.
У строго ортогональных методов действует другой жёсткий предел: они сохраняют сингулярные числа матрицы, нормы нейронов и углы между ними. Повторное слияние этого не меняет в точной арифметике. Но вывод относится только к реализациям, которые действительно сохраняют ортогональность: приближённые вычисления и дополнительные масштабирующие коэффициенты нарушают условие.
Часть различий между вариантами LoRA оказывается различиями настроек. При Adam без стабилизирующей добавки, регуляризации весов и ограничения градиента LoRA+ проходит ту же траекторию весов, что обычная LoRA с соответствующим изменением масштаба α. Совпадение требует общего расписания скорости обучения, одинакового порядка данных и тех же масок dropout.
Карта меняет проверку PEFT, но не заменяет испытания на задаче
Работа не даёт оснований переносить продукт с одного адаптера на другой только по названию метода. Она исследует формулы, геометрию доступных весов и отдельные режимы оптимизации, а не связывает эти свойства напрямую с качеством конкретной модели на прикладном наборе данных.
Зато порядок отбора можно изменить. Перед дорогим обучением команда может проверить, соответствует ли максимальный ранг нужному типу обновления, не начинается ли метод в особой точке с урезанными начальными направлениями и сохраняет ли выбранная реализация заявленные инварианты.
- Для LoRA стоит сравнивать не только бюджет параметров, но и доступную размерность, предел ранга и тип инициализации.
- Для QLoRA квантование следует считать изменением базы обучения, а не нейтральным способом хранить тот же чекпойнт.
- Для ортогональных адаптеров нужно проверять код реализации: приближённая ортогональность не гарантирует сохранения спектра весов.
- Для LoRA+ отдельная ветка инфраструктуры может оказаться лишней, если соблюдены строгие условия эквивалентности с обычной LoRA.
Границы выводов проходят по одной матрице весов, точной арифметике и явно указанным режимам оптимизатора. Дискретные шаги, округление, регуляризация, ограничение градиента и особенности библиотек могут разрушить доказанную эквивалентность. Практический результат работы — не новый лидер таблицы, а набор проверок, которые уменьшают число бессодержательных экспериментов до запуска обучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
