Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Несколько специализированных моделей научились объединять в одну без дополнительного обучения. В нерецензированном препринте, где все числа получили сами авторы, Bangji Yang и коллеги собрали модель со средней точностью 61,1% против 59,8% у математического специалиста и 53,6% у специалиста по коду. Если специалисты получены из одной базовой модели, отдельный этап дистилляции можно заменить прямыми проходами и решением систем линейных уравнений.
Как линейные слои заменили обучение
Обычная дистилляция на собственных ответах модели требует повторяющегося цикла: модель генерирует текст, учитель оценивает её поведение, затем веса меняются через обратное распространение ошибки. TF-OPD оставляет ответы специалистов, но убирает обновление весов по градиенту.
Метод работает, когда специалисты имеют одинаковую архитектуру и происходят от одной базовой модели. Для каждого линейного слоя известны базовые веса и изменения, которые внесло специализированное обучение. Остаётся найти такие объединённые веса, чтобы слой воспроизводил выход каждого специалиста на характерных для него входах.
Специалист сначала решает задачи из своей области. Затем он один раз читает собственные готовые ответы, не генерируя их заново, а служебные перехватчики собирают для каждого слоя матрицу вторых моментов входов. Она показывает, какие направления во внутренних представлениях встречаются чаще и сильнее влияют на выход слоя.
После этого каждый слой решает отдельную задачу наименьших квадратов. Оптимизатор, скорость обучения и обратный проход не нужны: решение вычисляют напрямую по изменениям весов и собранной статистике. Нелинейные параметры, включая нормализации и смещения, авторы объединяют обычным сложением изменений относительно базовой модели.
Проверка охватывает математического и программного специалистов Olmo 3 7B. Оба получены из одного базового checkpoint, а итоговую модель оценивали на математических задачах и генерации кода. Для каждого специалиста собрали по 256 ответов; после проверки оставили 175 математических и 92 программных.
Почему несколько зацикленных ответов портят слияние
Главным оказался не способ решения линейных систем, а состав ответов, по которым собирают статистику. Некоторые математические ответы входили в цикл и повторяли один фрагмент до ограничения длины. Таких ответов было мало, но из-за своей длины они давали непропорционально много токенов и смещали внутреннюю статистику модели.
Модель, слитая по всем ответам, близко повторяла специалиста на уровне следующего токена, но уступала ему на сложной математике. Среднее совпадение по токенам скрывало редкие шаги рассуждения, которые определяют правильный ответ. После удаления зацикленных последовательностей итоговая модель сравнялась с математическим специалистом на AIME25 при одинаковом формате вычислений.
Дополнительная фильтрация всех неправильных, но нормально завершённых математических ответов уже не помогла. Такие ответы всё ещё показывали обычное поведение специалиста, тогда как циклы создавали искусственно частые внутренние состояния. Использование ответов самой объединённой модели и повышенный вес математики тоже не дали более устойчивого результата: во втором случае улучшение математики происходило за счёт кода.
Точность хранения весов также вошла в методику. Специализированное обучение меняло отдельные веса настолько слабо, что округление могло исказить объединённое обновление. Поэтому итоговые веса сохраняли в 32-битном формате, а вычисления при оценке проводили в float16.
Когда TF-OPD меняет план разработки
Работа меняет порядок экспериментов для команд, которые обучают несколько доменных вариантов одного основания. Перед многодоменным обучением или полноценной дистилляцией можно проверить закрытое послойное слияние: оно требует сгенерировать ответы специалистов, выполнить по ним прямой проход и решить линейные системы. В эксперименте это занимало несколько GPU-часов на специалиста.
Подход особенно уместен, если продукту нужна одна модель для нескольких режимов работы, а хранить, загружать и маршрутизировать запросы между специалистами неудобно. Новый специалист добавляет ещё один набор ответов и статистики для слоёв; заново обучать всю объединённую модель не требуется.
Качество при этом нельзя оценивать только на простых или средних задачах. В работе разные правила слияния выглядели похоже на более лёгких проверках и расходились на сложной математике. В производственном испытании потребуется отдельно искать длинные повторы и другие аномальные генерации: один редкий тип ответа способен занять заметную долю всех токенов.
Граница применимости заложена в самой формуле: специалисты должны иметь общую базу, одинаковые слои и совместимые размеры весов. Если учители отличаются архитектурой или размером от целевой модели, послойно совместить их параметры нельзя, и обучение остаётся необходимым. Пока TF-OPD стоит рассматривать как более дешёвый первый кандидат для консолидации родственных специалистов, а не как замену дистилляции между любыми моделями.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
