Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Почти нулевой вектор редкого токена может незаметно обнулить целый шаг обучения Mamba, Gated DeltaNet, xLSTM и гибридных моделей. В нерецензированном препринте, где числа получили сами авторы, такие строки нашлись в 52,6% проверенных моделей с раздельными входными и выходными матрицами, а Nemotron-3-Nano-4B при дообучении на Telugu терял примерно каждый пятый шаг. Для полного дообучения готового чекпойнта это требует отдельной обрезки градиентов входной таблицы.
Как один токен останавливает обновление модели
Входное представление токена хранится как строка в матрице параметров. Если редкий токен не встречается при предобучении, эта строка не получает градиент, но AdamW продолжает уменьшать её через затухание весов. В моделях с отдельной выходной матрицей ничто не возвращает строку к обычному масштабу, и её норма может опуститься ниже 10−6.
Общая матрица входа и выхода защищает от этого сценария. Даже если токен не встречается во входном тексте, его выходная строка участвует в расчёте вероятностей и получает обновления. Среди проверенных моделей с общей матрицей достижимых почти нулевых строк не оказалось.
Обычный Transformer на позиции внутри последовательности быстро восстанавливает масштаб сигнала: механизм внимания подтягивает представления предыдущих токенов. Начальный токен последовательности остаётся отдельным случаем, если перед ним нет BOS.
В моделях с вентильной рекуррентностью историческое состояние проходит через функцию текущего токена. У SiLU-вентиля и линейного запроса эта функция равна нулю при нулевом входе. Поэтому модель почти не считывает накопленный контекст, а остаточный поток остаётся слишком малым на нескольких слоях подряд.
Pre-RMSNorm начинает усиливать обратный сигнал на каждом таком слое. В экспериментах градиент входного вектора вырастал более чем на 30 порядков. Когда отдельный элемент превышает 1,84 × 1019, вычисление общей нормы в FP32 переполняется до бесконечности: коэффициент обрезки становится нулём, и весь свежий градиент пакета исчезает без NaN и явной ошибки.
После этого AdamW применяет только старый импульс и затухание весов. Строка, которая вызвала сбой, остаётся почти нулевой и может снова обнулить обновление при следующей встрече.
Какие токены запускают сбой и как работает GroupClip
Проверка охватила открытые репозитории Transformer, Mamba, Gated DeltaNet, xLSTM и гибридных архитектур. Проблемными оказались не только неиспользуемые позиции словаря: токенизатор действительно мог выдать строки для Telugu и Basque, монгольской кириллицы, фрагментов кода с CRLF и служебных тегов чата. Производные модели наследовали их от базовых чекпойнтов.
Для уже выпущенных моделей предложен GroupClip. Метод считает и обрезает норму входной матрицы отдельно от остальных параметров, используя 64-разрядный либо устойчивый к переполнению пересчёт. Огромный градиент редкого токена больше не уменьшает обновление всей модели до нуля.
На Nemotron-3-Nano-4B GroupClip устранил потерянные шаги и возвращал встретившуюся строку к рабочему масштабу за один шаг. Простая замена общей нормы на 64-разрядную решает переполнение, но всё ещё почти обнуляет обновление остальных параметров при первом всплеске. Раздельная обрезка сохраняет сигнал пакета для основной части модели.
Проверки полного дообучения проводили на Nemotron для Telugu и Falcon-H1 для монгольского языка. Зонды градиентов охватили готовые модели вплоть до Kimi-Linear-48B-Base, но обучение с изменённым вентилем с нуля дошло только до 370 млн параметров и использовало по одному или два запуска на конфигурацию.
Что менять в планах обучения
Для инференса этот механизм не возникает: он связан с обратным проходом и обрезкой градиентов. Он также не затрагивает LoRA, если входная таблица заморожена. Риск появляется при полном дообучении, продолжении предобучения и обновлении всех параметров на подсказках с редкими символами или новыми тегами чата.
Перед таким запуском полезно проверить нормы достижимых строк входной матрицы и способ расчёта общей нормы градиента. Для уязвимого готового чекпойнта GroupClip выглядит локальной заменой, которая не требует менять архитектуру или заранее перечислять проблемные токены. Обычное отключение затухания весов уже не исправит строку, которая пришла почти нулевой из базовой модели.
При предобучении с нуля авторы предлагают исключить входную матрицу из затухания весов. Дополнительная защита GateFloor добавляет к SiLU-вентилю небольшое положительное смещение, поэтому историческое состояние проходит дальше даже при нулевом текущем входе. В проверенном масштабе это убирало каскадное усиление градиента без заметного ухудшения перплексии, но подтверждение на моделях в несколько миллиардов параметров ещё требует отдельных запусков.
Практический вывод разделяется по сценарию. Команде с готовой Mamba-, xLSTM- или гибридной моделью стоит менять контур обрезки градиентов до полного дообучения. Команде, которая проектирует собственное предобучение, стоит отдельно настроить затухание входной таблицы и решить, нужна ли архитектурная защита вентиля.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
