Когда RLVR усиливает ошибку модели вместо того, чтобы исправить её

Одинаковые ошибки на разных запросах могут усиливаться при дообучении, а редкие — подавляться. В работе Michael Li, Rohan Pandey и Ray Chen, которая не прошла рецензирование и содержит замеры самих авторов, доля награждённых неверных ответов выросла с 2,5% для единичной ошибки до 16% для ошибки, принятой во всех задачах. Для настройки проверяющего кода важна не только частота ложных срабатываний, но и то, повторяет ли модель одну ошибку в разных задачах.

Авторы изучили обучение с подкреплением по проверяемой награде (RLVR): программный модуль принимает ответ, после чего модель учится чаще выдавать принятые варианты. Если параметры общие для всех запросов, каждый запрос, где неверный ответ проходит проверку, повышает его вероятность. Запросы, где тот же ответ отклоняют, действуют в обратную сторону. Отдельные параметры для каждого запроса убирают этот взаимный перенос.

Механизм проверяли на 64 примерах умножения и полном наборе из 100 двухзначных ответов. Небольшой двухслойный трансформер сравнивали с независимыми копиями модели для каждого запроса. Связь между распространённостью ошибки и её усилением сохранялась при Adam, SGD и выборочном GRPO на всех размерах шага, при которых обучение сходилось.

Практический вывод касается исправления проверяющего модуля. Две правки, которые убирали одинаковое число ложных срабатываний, различались по итоговой точности модели на 38 процентных пунктов: выгоднее оказалось закрыть ошибку, которую модель повторяла во многих задачах. Масштаб эксперимента позволяет точно проследить механизм, но результат стоит воспринимать как гипотезу для больших языковых моделей, а не как готовый прогноз для промышленной системы.

Источники

• Wrong the Same Way: Cross-Prompt Sharing Both Suppresses and Amplifies Reward Hacking in RLVR

Иллюстрация: рисунок из статьи «Wrong the Same Way: Cross-Prompt Sharing Both Suppresses and Amplifies Reward Hacking in RLVR», Michael Li, Rohan Pandey, Ray Chen, CC BY 4.0