Журнал · Rit.work

Muon делает одинаковые шаги там, где модели нужны разные

Разбор диагностики Muon: почему оптимизатор переоценивает верх спектра, зачем разделять Q, K и V и когда спектральный наклон окупается при том же размере обновления.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Оптимизатор Muon слишком сильно меняет веса в направлениях с высокой кривизной и не использует доступный шаг там, где модель допускает большее обновление. Команда LLM Suite Team из JPMorgan Chase & Co. скорректировала это распределение так, что исходному варианту понадобилось бы примерно на 4,3% больше токенов для того же качества, хотя препринт не рецензирован и числа в нём получили сами авторы. Для команд, которые уже обучают трансформеры с Muon, работа указывает на две конкретные настройки: раздельную обработку Q, K и V и перераспределение шага в финальной фазе обучения.

Почему одинаковый шаг не подходит всему спектру

Muon обновляет скрытые матрицы трансформера не так, как обычный градиентный спуск. Он почти выравнивает длину шага по всем сингулярным направлениям — компонентам, на которые можно разложить матрицу импульса. Большой и малый сигнал получают близкие по величине изменения.

Такой выбор оптимален, если требуется самый крутой спуск при ограничении на спектральную норму. Но он не учитывает кривизну функции потерь: насколько быстро ошибка начинает расти при движении в конкретном направлении. Один и тот же шаг может оказаться слишком большим в чувствительной части пространства весов и слишком маленьким в более плоской.

Есть и второй источник неравномерности. Когда матрица запросов, ключей и значений хранится как одна высокая матрица QKV, Muon распределяет шаг между нейронами по геометрии общего пространства. В результате обновление Q зависит от импульса K и V, хотя это разные проекции внимания. Для квадратных матриц такой эффект почти исчезает.

Как измерили полезность отдельных частей обновления

Следующий шаг Muon разделили двумя способами: по участкам сингулярного спектра и по группам нейронов с разной длиной обновления. На отложенных данных для каждой группы измерили совпадение с градиентом и кривизну, включая взаимное влияние групп. Для этого использовали произведения матрицы вторых производных на вектор, не вычисляя всю матрицу целиком.

Затем для каждой части рассчитали множитель, который минимизировал бы локальное приближение функции потерь. У стандартного Muon этот множитель одинаков везде. Измерения показали другой профиль: чем дальше направление от верхушки спектра, тем больший шаг оно допускает. Верхние направления несут сильный градиентный сигнал, но их кривизна растёт ещё быстрее, поэтому Muon их переступает.

Простого сравнения локальных множителей недостаточно: новый шаг может выиграть лишь за счёт меньшей общей длины. Поэтому все варианты дополнительно сравнивали при одинаковой норме обновления каждой матрицы. Формальный критерий для такого сравнения проверили в Lean. Реальные изменения потерь на отдельных шагах совпали с направлением прогноза, но сама диагностика остаётся локальной: она оценивает один следующий шаг, а не весь ход обучения.

В планах обучения стоит менять две настройки, а не весь оптимизатор

Первое изменение касается структуры QKV. Раздельная ортогонализация Q, K и V снизила итоговую функцию потерь на 0,0250 ната относительно объединённой матрицы и объяснила весь выигрыш более сложных блочных вариантов. Нат здесь служит единицей функции потерь: чем значение ниже, тем лучше. Более мелкое деление по головам внимания или отдельным строкам уже не помогло.

Второе изменение перераспределяет шаг от верхних сингулярных направлений к остальным. Спектральный наклон σ−1/4, включённый только во время снижения скорости обучения, дал ещё 0,0120 ната поверх варианта с разделёнными QKV. Его реализовали через матричные умножения, без полного сингулярного разложения на каждом шаге.

Поправки складывались: вместе с NorMuon спектральный наклон дал 0,0158 ната. На более крупной модели выигрыш составил 0,0188 ната. При этом более точное вычисление полярного множителя, отбеливание входов и усиленное подавление верхней части спектра не помогли: математически обоснованное свойство само по себе не улучшает обучение, если не исправляет измеренную ошибку распределения шага.

Практический первый кандидат для существующего конвейера — разделить Q, K и V до применения Muon и заново настроить скорость обучения относительно этой базы. Результат NorMuon заметно зависел от того, сравнивали ли его с объединённой или разделённой QKV, поэтому старые сравнения вариантов оптимизатора могут переоценивать выигрыш.

Спектральный наклон имеет смысл тестировать отдельно и только вместе с расписанием скорости обучения: преимущество было заметно в середине обучения и в начале финального снижения, но исчезало к его концу. Постоянно применять ту же поправку работа не предлагает.

Проверки охватывают декодеры на 124 млн и 355 млн параметров, обученные на FineWeb-Edu не более чем на 100,7 млн токенов; основные сравнения проводили по трём связанным запускам. Поэтому результаты дают основание для контролируемого эксперимента в похожем масштабе, но не для автоматической замены настроек в более крупных или иначе устроенных моделях.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу