Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Критерии, которые перестали различать ответы LLM, можно не выбрасывать, а использовать для дальнейшего обучения. В препринте Zhejiang University и Huawei, который не рецензирован и содержит замеры самих авторов, RuACT повысил средний результат Qwen3-4B на 2,6 процентного пункта относительно GRPO. Для команд, обучающих модели по наборам критериев, это меняет обработку бесполезных сигналов: их стоит разделять по причине бездействия, а не просто отключать или перевзвешивать.
Почему критерий перестаёт учить модель
Рубрикой авторы называют отдельный критерий ответа: например, упомянуть противопоказание, объяснить причинную связь или привести нужное доказательство. Модель генерирует группу ответов, модель-оценщик проверяет каждый критерий, а групповая относительная оптимизация GRPO усиливает ответы, которые оказались лучше соседних.
Проблема возникает на краях шкалы. Если ни один ответ не прошёл критерий, он недостижим для текущей группы. Если прошли все, критерий насыщен. В обоих случаях награда одинакова для каждого ответа и исчезает при сравнении внутри группы.
В медицинском обучении Qwen3-4B неактивными оказались 60,88% наблюдений по парам «запрос — критерий». Простое изменение веса здесь не помогает: постоянная прибавка остаётся постоянной и не показывает, какой ответ лучше.
Два состояния требуют разного вмешательства. Когда недостижимый критерий добавили прямо в запрос, доля подходящих ответов выросла с 1,13 до 91,25%. Значит, модель часто уже способна выполнить требование, но без подсказки не выбирает нужное поведение. У насыщенных критериев другая проблема: ответы формально проходят проверку, хотя заметно различаются по качеству.
Как RuACT превращает критерий в учителя или критика
RuACT заново назначает роль каждому критерию для текущей группы ответов. Критерии, которые уже различают ответы, остаются без изменений. Недостижимые становятся учителями, а насыщенные — более подробными критиками.
В режиме учителя система добавляет недостижимые требования в служебный запрос замороженной копии текущей модели. Ученик получает обычный запрос без этой подсказки, поэтому после обучения дополнительный контекст ему не нужен.
RuACT не копирует любой ответ с подсказкой. Сначала система проверяет, превзошёл ли он все обычные варианты по совокупной награде. Только после этого ученик перенимает распределение следующих токенов учителя на тех же фрагментах своего лучшего ответа. Такой фильтр не даёт улучшать один критерий ценой остальных.
В режиме критика RuACT раскладывает насыщенное требование на дочерние критерии. Модель предлагает их, не видя текущих ответов, после чего система оставляет только варианты, которые действительно разделили группу. Родитель и его дочерние критерии делят прежний вес, поэтому детализация не делает это требование важнее остальных.
Различие принципиально для архитектуры обучения. Учитель добавляет отсутствующее поведение, а критик возвращает контраст между уже приемлемыми ответами. Единая операция — например, только перевзвешивание или только подсказка — не закрывает обе причины бездействия.
Стоит ли менять планы обучения моделей
На Qwen3-4B RuACT показал лучший результат среди локально проверенных методов на всех медицинских и научных наборах. Самый заметный разрыв с GRPO получился на ResearchQA: 69,44 против 64,82 балла. Для изначально недостижимых критериев доля случаев, которые модель позднее выполняла уже без подсказки, выросла с 35,02 до 42,86%.
На Qwen3-1.7B метод также дал лучший средний результат, хотя отдельные режимы учителя и критика иногда выигрывали на конкретных наборах. Это поддерживает главный практический вывод: состояние критерия нужно определять динамически, потому что по мере обучения недостижимое требование может стать различающим, а затем насыщенным.
Менять весь стек ради RuACT рано, но план экспериментов — стоит. Если обучение уже использует несколько проверяемых критериев и GRPO, полезно сохранять результаты каждого критерия по группе ответов. Тогда можно отдельно проверять обучение с подсказкой для полностью проваленных требований и детализацию тех, которые проходят все варианты.
Работу проверяли на Qwen3-1.7B и Qwen3-4B в задачах по медицине и науке. Состояние критерия определяли по восьми ответам, поэтому метки описывают конкретную выборку, а не постоянное свойство модели. Награды и итоговые ответы оценивали LLM, а не профильные эксперты; повторная проверка другим оценщиком сохранила общий порядок методов.
RuACT требует дополнительных генераций во время обучения: отдельно для подсказок учителя и для дочерних критериев. В работе не сказано, насколько это увеличивает стоимость относительно полученного прироста. Поэтому ближайший практический шаг — прототип на журналах текущего обучения с отдельным учётом качества, времени и числа дополнительных вызовов модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
