Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили повторно прогонять часть слоёв, не увеличивая общий бюджет предобучения. Команда Cheng Liang в нерецензированном препринте, где все числа получили сами авторы, подняла средний результат крупнейшей модели с 22,99 до 27,52 при равном числе токенов и объёме операций с плавающей точкой (FLOPs). Для команд с фиксированным бюджетом GPU это переносит выбор с дополнительных вычислений на расписание, которое распределяет их между этапами.
Ранние дешёвые токены оплачивают поздний повтор слоёв
Циклический Transformer несколько раз применяет один блок с общими весами. Число независимых параметров от этого не растёт, но каждый повтор требует вычислений и при обычном обучении увеличивает расходы на каждый токен.
UpLoop покрывает эти расходы экономией в начале предобучения. Модель проходит четыре стадии: сначала работает с четвертью целевой глубины, затем её дважды доращивают копированием уже обученных слоёв. На последней стадии она получает полную глубину и повторно выполняет общий блок в середине сети.
При доращивании копируются не только веса, но и состояния оптимизатора Adam. После копирования слои становятся независимыми и продолжают меняться отдельно. Поток обучающих данных и расписание скорости обучения при переходах не перезапускаются.
Такой порядок тратит меньше операций на ранние токены, когда сеть ещё мелкая. Освободившийся бюджет уходит на дополнительный проход через средний блок ближе к концу. В итоге UpLoop и обычный Transformer получают одинаковое число обучающих токенов, одинаковый конечный набор независимых параметров и одинаковый суммарный объём вычислений.
Это отличает метод от обучения циклической архитектуры с нуля. Там повторный блок работает на всём протяжении предобучения и сразу увеличивает расходы. Также UpLoop не превращается в более глубокую плотную сеть: при выполнении повторяются те же веса, а не добавляются новые слои с отдельными параметрами.
Повторный проход помог читать контекст, а не только снизил ошибку
На крупнейшей конфигурации отрицательное логарифмическое правдоподобие, то есть ошибка предсказания следующего токена, снизилось с 2,43 до 2,40. В тестах без примеров средняя точность выросла с 54,91% до 56,47%. На расширенном наборе из 22 задач основной вклад дали задания на работу с переменными, математические примеры и вопросы по переданному контексту.
Анализ внутренних вычислений связывает этот результат именно с повторным проходом. Когда модели мешали во время второго прохода обратиться к нужному значению переменной в контексте, точность падала сильнее, чем при блокировке постороннего значения. Значит, общий блок не просто повторяет прежнее преобразование, а ещё раз извлекает данные, необходимые для ответа.
Скопированные слои тоже не остались одинаковыми. После дальнейшего обучения они разошлись по весам и выполняли разные функции, хотя сохраняли связь с общим исходным слоем. UpLoop поэтому сочетает два эффекта: повторно использует накопленное обучение при росте сети и оставляет циклическому блоку отдельную роль на этапе выполнения.
Метод проверяли на архитектуре OLMo 2 Ladder, данных FineWeb-Edu и моделях размером 370M, 760M и 1.3B параметров без учёта входных эмбеддингов. Сравнение охватило языковое моделирование, вопросы на знания и контекст, понимание языка, простые математические задачи и базовые операции рассуждения.
Бюджет предобучения сохраняется, но инференс не становится бесплатным
Работа меняет планы команд, которые собираются предобучать собственную модель и уже зафиксировали число токенов и доступные GPU. Вместо равномерного расхода вычислений можно начать с мелкой сети, перенести её знания в более глубокую и потратить сэкономленный ресурс на циклический блок. Для такого сценария UpLoop даёт конкретное расписание, которое можно сравнить с обычным обучением в рамках одного бюджета.
Перенос требует поддержки изменения глубины во время обучения, копирования состояний оптимизатора и точного учёта операций по стадиям. Простая загрузка готового плотного контрольного пункта не воспроизводит метод: выигрыш появляется из совместного расписания роста и циклического выполнения.
Экономия относится только к предобучению. Готовая модель повторно выполняет средний блок при каждом запросе, поэтому тратит на инференс больше операций, чем плотная модель той же глубины и с тем же числом независимых параметров. Если основные расходы продукта приходятся на обслуживание запросов, этот рост нужно оценивать отдельно от цены обучения.
Масштаб проверки также задаёт границу вывода: эксперименты относятся к моделям до указанного размера и одному семейству архитектур. Результат уже оправдывает контрольный эксперимент перед крупным запуском, но пока не доказывает, что то же расписание сохранит преимущество на существенно больших моделях или при другом составе данных.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
