Маленькая модель может обучить большую лучше самой себя

Маленькая модель, дообученная с подкреплением, может передать навык рассуждения более крупной так, что та превзойдёт учителя. Команда Zhejiang University и Kuaishou Technology увидела это во всех проверенных парах «слабый учитель — сильный ученик», хотя препринт не рецензирован, а числа основаны на замерах самих авторов. Это позволяет один раз обучить небольшого эксперта и использовать его для моделей того же семейства.

Для переноса применили дистилляцию на данных текущей версии ученика (on-policy distillation). Ученик генерирует решение сам, а учитель оценивает выбранные токены. Поэтому крупная модель не копирует готовую траекторию маленькой: она получает сигнал о полезных шагах и может задействовать собственные знания, которых нет у учителя.

В начале обучения точность на отложенных задачах росла почти линейно относительно того, насколько ученик отклонился от исходной модели. Затем единая закономерность исчезала: рост замедлялся, останавливался или сменялся ухудшением, хотя внутреннее вознаграждение продолжало увеличиваться. Поэтому длительное следование сигналу учителя не гарантирует дальнейшего улучшения.

Размер учителя помогал лишь до масштаба ученика. Например, модель на 0,5 млрд параметров достигла точности 40,8% с учителем на 3 млрд, но только 37,7% с учителем на 14 млрд. При одинаковой точности меньший учитель переносил навык лучше, поэтому выбирать его только по результату на тесте недостаточно.

Степенные зависимости, которые учитывают размеры обеих моделей и точность учителя, предсказали пиковый результат на крупнейших отложенных масштабах с ошибкой менее одного процентного пункта. Проверка охватила 25 сочетаний Qwen2.5 от 0,5 до 14 млрд параметров на математических наборах GSM8K и MATH. Цепочки из нескольких последовательных переносов уступили прямому обучению от самого маленького RL-эксперта, поэтому промежуточные учителя в такой схеме не окупились.

Источники

• Scaling Properties of Same-Family On-Policy Distillation