Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Новая метрика CRoS отличает рассуждение, которое влияет на ответ, от правдоподобного объяснения уже выбранного ответа. В препринте UNC Chapel Hill, который не проходил рецензирование и содержит замеры самих авторов, обучение с этой наградой подняло точность на три процентных пункта относительно сильнейшего сравнимого метода. Команды, которые дообучают модели на задачах с проверяемым ответом, получили более точный сигнал, чем простая проверка результата или удаление частей рассуждения.
Почему удаление шага измеряет не только причинность
При обучении с подкреплением по проверяемой награде модель получает балл за правильный итоговый ответ. Цепочка рассуждений (Chain of Thought, CoT) на награду обычно не влияет: содержательный вывод и случайно угаданный результат оцениваются одинаково.
Предыдущие метрики пытались проверить роль рассуждения вмешательством. Они удаляли последние шаги, заменяли часть текста или добавляли ошибку, а затем смотрели, изменился ли ответ. Если ответ менялся, цепочку считали причинно важной.
Такое вмешательство смешивает два эффекта. Удаление шага меняет не только порядок вывода, но и доступную модели информацию. Вставленная ошибка тоже добавляет новое содержание. Высокий балл поэтому может означать, что модель заметила пропавшую подсказку или ложное число, а не использовала последовательную логику.
CRoS сохраняет все строки рассуждения, но переставляет их. Затем замороженная исходная модель вычисляет вероятность того же финального ответа для нормальной и перемешанной цепочек. Если после перестановки ответ становится менее вероятным, порядок шагов действительно помогал его получить.
Метрика становится дополнительной наградой только для правильных ответов. CRoS ранжирует такие ответы внутри группы по силе причинной связи, а ошибочные не получают баллов за убедительное рассуждение. Основная награда за результат при этом остаётся.
Перестановка улучшила перенос на незнакомые задачи
CRoS показал точность 46,8% на незнакомых логических и игровых задачах против 43,8% у сильнейшего базового метода. Выигрыш появился не из-за одной удачной выборки ответов: метод также лучше переносился на более сложные уровни задач.
Качество цепочек проверяли метрикой CoT-Pass@K: она засчитывает пример, когда среди нескольких ответов нашлись одновременно правильный результат и корректное рассуждение. Средний результат CRoS составил 43,4% против 41,4% у ближайшего соперника. Корректность рассуждений здесь определяла отдельная модель-оценщик, поэтому эта часть результата зависит от качества автоматической проверки.
Верность рассуждения проверяли подсказками, которые могли изменить финальный ответ. Модель должна была явно признать, что использовала подсказку, а не представить навязанный результат как собственный вывод. CRoS повысил долю таких признаний на 13,8 процентного пункта.
Разница видна и в поведении конкурирующих наград. Метрики с удалением шагов поощряли короткие и менее содержательные цепочки. Добавление ошибок подавляло перебор вариантов и самокоррекцию: модель могла повысить награду, если делала свой ответ чувствительнее к внедрённой ошибке. Перестановка не создаёт таких прямых лазеек, потому что сохраняет содержание шагов.
Планы обучения менять стоит, архитектуру продукта — пока нет
CRoS применим там, где команда сама дообучает модель, знает правильные ответы и использует GRPO — метод, который сравнивает несколько ответов на один вопрос внутри группы. Это не улучшение, которое можно добавить к обычному вызову модели через API: для награды нужны вероятности токенов от замороженной модели и дополнительные прогоны с переставленными цепочками.
Работу проверяли главным образом на Gemma-3-4B-Instruct. Модель обучали на двух наборах из Reasoning Gym и оценивали перенос на пяти незнакомых наборах из тех же категорий — логики и игр. Поэтому результат обосновывает эксперимент с внутренними задачами, но не заменяет проверку на коде, поиске, диалогах или рабочих процессах другого типа.
Граница шага тоже зависит от формата: CRoS считает отдельным шагом каждую непустую строку. Если модель пишет сплошной абзац или дробит одну операцию на множество строк, сигнал меняется. При пилоте придётся закрепить формат ответа и отдельно следить, не учится ли модель подстраивать разметку под награду.
Более причинное рассуждение оказалось не безусловно полезным. В дополнительных тестах модели чаще соглашались с навязанной информацией и реже отказывались отвечать там, где отказ был уместен. Для продукта с требованиями к безопасности CRoS стоит проверять вместе со сценариями отказа, ложными предпосылками и вредными подсказками, а не только по точности.
Практический следующий шаг — добавить CRoS как вспомогательную награду в ограниченный опыт и сравнить его с наградой только за ответ. Помимо точности, стоит отслеживать качество цепочек, самокоррекцию, чувствительность к подсказкам и корректные отказы. Работа показывает перспективный способ измерения, но не доказывает, что одна такая награда подходит всем классам задач.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
