Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Градиентное подпространство при обучении LLM меняется плавно, поэтому его можно отслеживать вместо периодической пересборки. В препринте Xinyu Luo и соавторов, который не проходил рецензирование и где все числа получили сами авторы, оптимизатор Ori сократил разрыв с полноранговым Adam до 69,3%. Это позволяет сильнее уменьшать состояние оптимизатора, не теряя столько качества из-за устаревшей проекции.
Почему периодическая проекция теряет полезные градиенты
Низкоранговые оптимизаторы вроде GaLore не хранят полное состояние Adam для каждого градиента. Они выделяют несколько главных направлений, переводят градиент в это пространство, обновляют параметры и затем возвращают результат в исходную размерность. Чем ниже ранг такого пространства, тем меньше памяти требует состояние оптимизатора.
Проблема возникает между обновлениями базиса. Веса модели меняются, вместе с ними сдвигаются главные направления градиента, а проектор продолжает работать со старой геометрией. GaLore периодически строит базис заново через сингулярное разложение, но такая операция требует дополнительных вычислений и отбрасывает информацию о предыдущем движении подпространства.
Чтобы проверить характер этого движения, авторы сравнивали главные направления градиентов в разные моменты предварительного обучения LLaMA на C4. После начального этапа их перекрытие удерживалось в диапазоне 0,55–0,75: подпространство заметно менялось, но не превращалось в случайное. Значит, предыдущий базис остаётся полезной начальной точкой для следующего обновления.
Эффект особенно важен при жёстком ограничении ранга. Когда проектор сохраняет мало направлений, каждое устаревшее направление занимает заметную долю доступного пространства. При более высоком ранге оптимизатор может частично компенсировать неточность лишними измерениями.
Как Ori следует за дрейфом без холодного старта
Ori заменяет полную пересборку потоковым анализом главных компонент (k-PCA). В основе лежит Oja++: алгоритм получает текущие градиенты и небольшими поворотами приближает базис к их главным направлениям. Он не ждёт накопления большого интервала и потому может обновлять проектор чаще.
Каждый новый цикл начинается с предыдущего базиса, а не со случайной матрицы. Коэффициент переноса около 0,99 оставляет почти всю прежнюю структуру и добавляет небольшую случайную составляющую. В экспериментах полный случайный перезапуск ухудшал результат, но и перенос без примеси работал немного хуже.
Вместе с базисом Ori переносит накопленные Adam средние градиентов и их квадратов. Без этого поворот проектора обнулял бы или искажал историю оптимизатора. Такая передача связывает последовательные базисы в один процесс, а не в серию независимых оценок.
Стоимость одного обновления растёт линейно с шириной слоя и квадратично с выбранным рангом. Это делает метод наиболее уместным именно там, где ранг мал: проектор можно корректировать часто, а вычисления не перекрывают экономию от сжатого состояния оптимизатора. На графике зависимости перплексии от пиковой памяти Ori образовал более выгодную границу, чем GaLore и OSD. Перплексия показывает неопределённость модели при предсказании следующего токена; меньшее значение лучше.
Когда Ori меняет выбор стека обучения
Проверка охватила предварительное обучение LLaMA на C4 вплоть до модели с миллиардом параметров и дообучение RoBERTa-Base на GLUE. Сравнивали Ori с полноранговым Adam и низкоранговыми методами, включая GaLore, OSD, LoRA и LDAdam. Это очерчивает практическую область результата: обучение трансформеров при ограничении памяти оптимизатора.
На одной из LLaMA при особенно низком ранге Ori получил перплексию 43,61 против 60,29 у GaLore. При дообучении RoBERTa-Base он показал лучший результат в 10 из 16 сочетаний задачи и ранга. Преимущество росло по мере сокращения числа доступных направлений, что согласуется с исходной гипотезой о цене устаревшего проектора.
Работа меняет планы команд, которые уже рассматривают градиентную проекцию ради экономии памяти. Вместо выбора только между редким дорогим пересчётом и дешёвым устаревшим базисом появляется третий вариант: непрерывно корректировать базис и сохранять состояние Adam между его поворотами. В первую очередь Ori стоит сравнивать с GaLore и OSD на целевом размере модели и реальном лимите GPU.
Для команд, которые применяют LoRA только для адаптации готовой модели, это не прямая замена. LoRA ограничивает изменения весов, а Ori сжимает градиенты и состояние оптимизатора; методы решают разные задачи и меняют разные части контура обучения.
Главный практический вывод относится не ко всему низкоранговому обучению, а к его самому тесному режиму. Если текущий ранг уже даёт приемлемое качество, переход может не окупить усложнение оптимизатора. Если же память заставляет снижать ранг до уровня, где GaLore резко теряет качество, отслеживание дрейфа становится отдельным рычагом экономии.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
