Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Длинно рассуждающую языковую модель научились уменьшать без дообучения так, чтобы она реже теряла ход решения. В нерецензированном препринте числа получены самими авторами: LayerTrim обошёл RESP по средней точности вплоть до 21,4 процентного пункта. Это даёт командам способ снизить задержку и расход памяти у плотной модели, не переходя на разреженные вычисления.
Почему сокращение целых слоёв ломает рассуждение
Структурное сокращение (pruning) физически удаляет части модели и создаёт меньшую плотную сеть. В отличие от удаления отдельных весов, такой результат можно исполнять без специальных разреженных операций, но выбор удаляемых компонентов становится критичным.
Методы сокращения глубины убирают целые слои декодера. Другие подходы одновременно сужают механизм внимания и полносвязные блоки MLP. На коротком ответе повреждение может остаться незаметным, но при длинном рассуждении модель хуже обращается к ранним фрагментам контекста, повторяется или исчерпывает допустимую длину ответа.
LayerTrim оставляет механизм внимания и глубину декодера без изменений. Метод ищет слои, которые слабее меняют направление внутреннего представления, а затем уменьшает только MLP внутри этих слоёв. Поэтому информация продолжает проходить через исходную последовательность блоков, но часть вычислений в них исчезает.
Внутри выбранного MLP метод оценивает вклад каждого промежуточного признака. Оценка учитывает, насколько сильно признак активируется на калибровочных данных и как его исходящие веса влияют на результат блока. Признаки с большим ожидаемым вкладом остаются, остальные физически удаляются из матриц.
Для калибровки модель сначала генерирует собственные цепочки рассуждений. LayerTrim прогоняет их через исходную сеть, собирает активации и сравнивает входы с выходами слоёв. Градиенты, маски во время работы, дистилляция и восстановительное обучение не нужны: итоговый файл модели уже содержит уменьшенные плотные MLP.
Метод проверяли на трёх моделях — Qwen3-14B, Phi-4-reasoning-plus и Magistral-Small-2506 — и пяти тестах по математике, естественным наукам и программированию. Максимальный бюджет сокращения соответствовал параметрам девяти из 40 слоёв, хотя сами слои целиком не удаляли.
Экономия возникает и в модели, и в её ответах
LayerTrim показал лучшую среднюю точность среди проверенных методов структурного сокращения во всех сочетаниях моделей и бюджетов. Методы, которые удаляли целые слои, особенно часто разрушали длинные математические решения; сужение только MLP сохраняло их заметно лучше.
На самой крупной проверенной модели средний результат исходной версии составил 76,7%, после LayerTrim — 65,1%, а после RESP — 58,3%. Сокращение всё равно уступает исходной модели, поэтому метод меняет соотношение затрат и качества, а не устраняет потерю качества полностью.
На той же модели обработка входной последовательности ускорилась в 1,24 раза, а пиковый расход памяти GPU снизился на 19,7%. Замеры проводили на одной GPU при одинаковом числе удаляемых параметров; загрузку модели и подготовку сокращённого файла во время работы не учитывали.
Есть и второй источник экономии: LayerTrim в среднем генерировал самые короткие ответы среди сокращённых моделей, сохраняя при этом лучшую точность. Это существенно для рассуждающих моделей, где неудачное сокращение иногда уменьшает сеть, но заставляет её дольше повторять шаги и расходовать больше токенов.
Диагностика ответов подтверждает тот же эффект. Модель реже упиралась в предел длины, лучше формировала компилируемый код и ближе держалась к исходной сети по арифметической согласованности. То есть выигрыш связан не только с меньшими матрицами: модель также реже тратит вычисления на испорченные цепочки рассуждений.
Планы меняются для команд с собственным контуром вывода
LayerTrim имеет практический смысл, если команда разворачивает рассуждающую модель сама, может изменить её файл и упирается в память или задержку. Результат остаётся плотной моделью, поэтому его можно запускать теми же операциями, которые уже поддерживает оборудование, без отдельного стека для разреженных весов.
Это не переключатель в настройках сервера. Сначала нужна исходная модель, затем её собственные рассуждения для калибровки и отдельная сборка сокращённого файла. Зато после подготовки в рабочем контуре не появляются дополнительные маски, вспомогательная модель или этап восстановления весов.
Работа не даёт оснований заранее заменить исходную модель сокращённой в задачах, где ошибка дорого стоит. Проверка охватывает фиксированный набор архитектур и задач, а лучшие сокращённые версии всё ещё уступают плотным. Практичный порядок — сначала выбрать модель по качеству, затем построить LayerTrim-вариант и сравнить его на собственных длинных сценариях.
Калибровка в экспериментах использовала математические рассуждения, но улучшения перенеслись на научные вопросы и генерацию кода. Это делает метод подходящим кандидатом для пилота, однако калибровочные запросы лучше брать из рабочего распределения продукта: именно по ним LayerTrim решает, какие слои и признаки можно ослабить.
Для команд, которые планировали дообучение после структурного сокращения, работа предлагает более дешёвую первую проверку. Если точности LayerTrim хватает, этап обучения можно исключить; если нет, исходная модель остаётся ориентиром, а собранные замеры показывают допустимый бюджет сжатия.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
