Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для дообучения рассуждающих языковых моделей оказалось не нужно прогонять весь корпус примеров. В препринте, который не прошёл рецензирование, приведены собственные замеры авторов: модель сохранила или улучшила результат при бюджете в 0,22% от полного обучения — более чем в 450 раз меньше примеров для модели-ученика. Команды могут сначала проверить отбор данных, а не сразу расширять корпус и парк GPU.
Как неопределённость превращает цепочку в полезный пример
Обычная дистилляция рассуждений принимает правильную цепочку за единый пример: модель-учитель решает задачу, ответ проверяют, а модель-ученик повторяет весь ход решения. Такой подход не различает очевидные шаги и развилки, на которых решение легко уходит в неверную сторону.
Новый метод рассматривает промежуточные шаги как отдельные состояния. Для каждого состояния модель-учитель несколько раз продолжает рассуждение независимо. Получается дерево рассуждений Монте-Карло: одни ветви приводят к правильному ответу, другие — к ошибочному.
Если почти все продолжения заканчиваются одинаково, состояние считают устойчивым. Если результаты расходятся, неопределённость растёт. Это не просто оценка сложности задачи: метод ищет места, где два правдоподобных продолжения одного и того же рассуждения дают разные исходы.
Оценки промежуточных шагов усредняют по всей траектории. Затем из проверенных правильных решений оставляют цепочки с высокой средней неопределённостью. Поэтому в набор попадают не обязательно самые трудные или неуверенные ответы, а решения, которые проходят через хрупкие развилки.
Для такого профилирования не нужны параметры модели, скрытые состояния или вероятности отдельных токенов. Достаточно отправлять префикс рассуждения модели-учителю, получать несколько продолжений и автоматически проверять итог. Это позволяет работать с моделями через API, если сервис поддерживает продолжение заданного префикса.
Как модель-ученик сужает набор ещё раз
Отбор модели-учителя не учитывает, что конкретный ученик уже умеет. Поэтому после первого сжатия следует второй этап: обучение на готовых ответах (SFT) начинается с проверочного прохода по сокращённому набору.
Для каждой цепочки считают среднюю ошибку предсказания токенов ответа с поправкой на длину. Большая ошибка означает, что ученик пока плохо воспроизводит эту траекторию. Следующие обновления получают примеры с наибольшей ошибкой, а оценки пересчитывают по ходу обучения.
Два этапа решают разные задачи. Неопределённость учителя оставляет цепочки с содержательными развилками, а ошибка ученика убирает из них уже освоенные. В разборе компонентов каждый этап помогал отдельно, но их сочетание давало лучший результат.
На Qwen3.5-4B время обучения на одном стенде сократилось с 8,47 до 0,01 часа. При равном бюджете метод обошёл обычную дистилляцию в среднем на 3,6 пункта для младшей модели и на 4,0 пункта для старшей. Отбор по неопределённости выигрывал у случайного выбора проверенных цепочек до 4,5 пункта, поэтому результат объясняется не только меньшим набором.
Что менять в плане обучения модели
Метод проверяли на DAPO-17K с Qwen3-8B в роли основного учителя и моделями Qwen3.5 в роли учеников. Оценка охватывала соревновательную и общую математику, а также научные вопросы. Дополнительные опыты включали учеников семейств Gemma, Llama и Mistral, модели-учителя DeepSeek-V4-Pro и Kimi-K2.6 через API и перенос от более слабого учителя к более сильному ученику.
Эти границы относят результат прежде всего к задачам с проверяемым конечным ответом. Для программного кода таким проверяющим механизмом могут служить тесты. Для свободных деловых текстов или многошаговых процессов понадобится отдельный надёжный оценщик исхода, иначе ветви дерева нельзя уверенно разделить на успешные и ошибочные.
Профиль учителя можно построить один раз и использовать для нескольких учеников. Это делает подход привлекательнее для команд, которые обучают линейку моделей или сравнивают несколько архитектур на одном корпусе. Маршрутизация под ученика при этом остаётся отдельной: ошибки и активный набор придётся пересчитывать для каждой модели.
Заявленное сокращение относится к числу примеров, обработанных учеником. Построение деревьев требует дополнительных вызовов модели-учителя, поэтому его нужно считать отдельной статьёй бюджета. Практический эксперимент стоит разделить на три метрики: стоимость профилирования, стоимость SFT и качество на собственной проверочной выборке.
Работа меняет порядок действий, но не требует сразу заменять текущий конвейер. Сначала можно добавить профилирование к небольшому проверяемому корпусу, сравнить его со случайным отбором при одинаковом бюджете, а затем подключить маршрутизацию по ошибке ученика. Если преимущество сохранится на целевых задачах, расширение датасета перестанет быть первым способом улучшить рассуждения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
