Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Федеративную настройку моделей можно вести с половиной клиентской нагрузки, сохранив сопоставимое или лучшее качество в экспериментах. SPRA-LoRA сократила вычисления и исходящий трафик на клиентах на 50%; работу подготовили Stanford University, Carnegie Mellon University, McGill University и MILA, но препринт не рецензирован, а числа получили сами авторы. Для систем с неодинаковыми устройствами ранг адаптера становится отдельной настройкой каждого клиента.
Почему две матрицы LoRA мешают друг другу
LoRA не меняет основную матрицу весов модели, а добавляет к ней произведение двух меньших матриц A и B. Их размер задаёт ранг адаптера: чем он выше, тем больше параметров можно обучать, но тем больше памяти, вычислений и трафика требует клиент.
В федеративном обучении устройства настраивают локальные копии модели, а сервер объединяет их обновления. Если сервер отдельно усредняет A и B, произведение усреднённых матриц не совпадает со средним произведений, которые вычислили клиенты. Так возникает шум при объединении обновлений.
Обучение обеих матриц одновременно добавляет другую проблему. Градиент A зависит от текущей B, а градиент B — от текущей A. Пока одна матрица приспосабливается к выбранному базису, вторая уже успевает его изменить.
Авторы рассматривают A не как обязательное хранилище знаний, а как случайную проекцию градиента полной матрицы. При гауссовой инициализации и замороженной A обучение B приближает полную настройку весов, но добавляет зависящее от ранга искажение. Это позволяет не передавать и не обучать A.
Как пересоздание A связано со скоростью обучения
В каждом раунде SPRA-LoRA заново случайно создаёт A на клиенте и замораживает её. Клиент обучает только B, затем восстанавливает обновление адаптера как произведение B и A. Сервер объединяет готовые обновления весов, поэтому клиентам не нужны матрицы одинакового размера.
Постоянно замороженная A экономит ресурсы, но ограничивает направления, в которых может двигаться модель. Пересоздание матрицы между раундами меняет случайную проекцию: последовательность раундов охватывает больше направлений, хотя в каждом отдельном раунде адаптер остаётся низкоранговым.
Ранг определяет отношение сигнала к шуму в спроецированном градиенте: оно растёт линейно вместе с рангом. Поэтому единая скорость обучения ставит клиентов в разные условия. Для SGD из анализа следует квадратичная зависимость оптимальной скорости от ранга при выбранной инициализации и масштабировании LoRA. Для AdamW такой простой формулы нет, поэтому подходящую скорость подбирали перебором, но она также росла с рангом.
На GLUE с RoBERTa ранги клиентов менялись от 4 до 128. Средняя точность SPRA-LoRA составила 83,30% против 82,21% у FlexLoRA и 80,97% у FLoRA. Половина экономии получилась не за счёт разреживания или сжатия: метод просто перестал вычислять градиенты A и отправлять эту матрицу на сервер.
Когда результат меняет архитектурный план
Работа напрямую касается систем, где модель обучают на устройствах или в нескольких изолированных контурах, а доступные память и вычисления различаются. В такой архитектуре необязательно заставлять всех клиентов использовать один ранг. Слабому устройству можно дать меньший адаптер, сильному — больший, а сервер всё равно получит совместимые обновления полной формы.
При проектировании такого контура стоит разделить три решения: ранг клиента, период пересоздания A и скорость обучения для этого ранга. Перенос одной общей скорости из обычной LoRA противоречит главному результату работы. Для AdamW потребуется отдельный поиск по рангам, а не механическое применение квадратичного правила для SGD.
Проверки охватывают RoBERTa на задачах GLUE и LLaMA-3.2-3B на задачах здравого смысла, разные распределения данных и размеры клиентской группы. Отдельный централизованный опыт сравнивает несколько периодов пересоздания A и показывает близкие результаты при коротких периодах. Это связывает выигрыш не только с конкретной схемой серверного объединения, но и с самой случайной проекцией.
Для централизованной настройки на однородных GPU практический эффект меньше: там нет исходящего клиентского трафика и несовпадающих рангов. Для федеративной системы SPRA-LoRA даёт конкретный вариант прототипа, но выбор скорости обучения остаётся частью эксперимента, особенно при AdamW и другой инициализации адаптеров.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
