Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Обучающий сигнал сильной модели научились точнее распределять между токенами ученика, даже если две модели по-разному делят текст на части. В нерецензированном препринте Alibaba и Singapore Management University, где все числа получили сами авторы, метод CAST улучшил средний результат Mistral-7B на 2,45 пункта относительно сильнейшего из проверенных базовых методов. Для команд, которые дистиллируют модели разных семейств, работа добавляет недостающий этап между выравниванием текста и обновлением весов.
Одинаковый текст ещё не задаёт одинаковое обучение
При дистилляции на ответах самого ученика модель генерирует решение, а более сильный учитель оценивает его по токенам. Если токенизаторы совпадают, оценки можно сопоставить напрямую. Если они различаются, один токен ученика может соответствовать нескольким токенам учителя или не иметь точного соответствия вообще.
Существующие методы сначала объединяют токены в текстовые фрагменты с одинаковым декодированным содержимым. Это решает вопрос, какие части ответа сравнивать, но не определяет, как раздать общий сигнал отдельным токенам ученика.
Равномерное распределение предполагает, что каждый токен внутри фрагмента одинаково полезен для обучения. Такое предположение скрывает два разных случая: в одной позиции ученик уже уверен, а в другой колеблется между вариантами. Кроме того, оценка учителя может резко меняться на границе соседних позиций, поэтому направлять туда весь сигнал рискованно.
Остаются и токены без соответствия у учителя. Прямого сигнала для них нет, но их вероятности всё равно меняются вместе с общими весами модели. Такое побочное изменение способно увести ученика от исходного поведения.
CAST разделяет обновление и удержание
CAST сначала вычисляет общий разрыв между вероятностями учителя и ученика для текстового фрагмента. Затем метод перераспределяет этот сигнал между токенами, не меняя его сумму. Он выбирает позиции по двум признакам: насколько ученик не уверен в следующем токене и насколько плавно меняется оценка учителя рядом с этой позицией.
Неопределённость измеряют через энтропию распределения вероятностей: чем больше подходящих продолжений видит ученик, тем выше потенциальная польза исправления. Но одной неопределённости недостаточно. Если оценки учителя рядом скачут, CAST уменьшает вес такой позиции и переносит часть сигнала туда, где обратная связь локально согласованнее.
Для токенов без соответствия действует другая логика. CAST добавляет штраф за отклонение от исходной версии ученика только в этих позициях. На выровненных участках модель свободно движется к учителю, а на остальных сохраняет прежнее распределение вероятностей.
Такое разделение важно для реализации. CAST не заменяет сопоставление токенов или текстовых фрагментов, а работает после него. Конвейеру нужны оценки учителя, вероятности ученика и маска позиций, для которых удалось построить соответствие.
В контрольном опыте с Mistral-7B средняя доля задач, решённых с первой попытки, составила 47,22 против 45,07 при равномерном распределении сигнала. Условия этого сравнения совпадали, включая выравнивание, удержание несопоставленных токенов и число ответов на запрос. Перемешивание весов между позициями тоже ухудшило итог, поэтому преимущество связано не только с набором весов, но и с тем, каким токенам они достались.
Метод стоит учитывать в конвейере дистилляции, но не как готовый стандарт
CAST проверяли при переносе от Qwen3-8B к Mistral-7B и Llama-3.1-8B. Во втором случае выигрыш относительно сильнейшего базового метода составил 1,32 пункта. Метод также применили внутри семейства Qwen с общим токенизатором: фрагменты выделяли по пунктуации, а средний результат Qwen3-1.7B вырос на 2,10 пункта.
Оценка охватывала задачи по математике, естественным наукам и программированию: AIME, MATH-500, GPQA-Diamond и LiveCodeBench. Обучающие запросы в основном относились к рассуждениям и соревновательной математике, а вычислительные бюджеты методов различались. Работа поэтому показывает устойчивый эффект в выбранном сценарии, но не устанавливает универсальное преимущество для диалогов, извлечения данных или корпоративных текстов.
Для команды с одинаковым токенизатором результат тоже применим: проблема возникает всякий раз, когда один обучающий сигнал относится к фрагменту из нескольких токенов. CAST можно добавить поверх пунктуационных или фиксированных фрагментов, не меняя способ генерации ответов.
Практический вывод уже достаточно конкретен. Если конвейер просто делит оценку фрагмента поровну, распределение сигнала стало отдельной точкой для эксперимента. Наиболее показательный тест — сравнить CAST с равномерным вариантом при одинаковых данных, числе генераций и правиле удержания исходной модели: только так станет видно, окупает ли более точное назначение сигнала усложнение обучения на конкретном продукте.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
