Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Дообучение LLM с подкреплением может повышать полезность ответов и одновременно усиливать разницу между ответами для разных демографических групп. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, новый способ расчёта награды лучше остальных удержал ответы согласованными при сходной общей полезности. Для продуктовых команд это означает, что одной настройки обычного GRPO недостаточно: демографически парные запросы нужно связать прямо в цели обучения.
Работу подготовили Meta Superintelligence Labs, University of California, San Diego и независимый исследователь. Авторы называют требуемое свойство контрфактической инвариантностью: если раса или гендер не влияют на задачу, модель не должна из-за них менять совет, исходные предположения или тон.
Почему обычное обучение на награде усиливает разницу
GRPO обучает модель на группах ответов к одному запросу. Алгоритм сравнивает награды внутри группы, поэтому ему не требуется единая шкала между разными запросами. Но две версии одного сценария с разными демографическими признаками для него остаются независимыми.
Проблема возникает, когда модель награды сама реагирует на демографическую формулировку. Она может предпочитать прямой ответ в запросе про одну группу и более осторожный — в запросе про другую. GRPO закрепит оба предпочтения, хотя признак не имеет отношения к содержанию задачи.
Так появляется контрфактическое смещение: общая полезность растёт, но ответы расходятся по существу, тону или представлению о возможностях человека. Нормализация наград внутри каждого запроса не исправляет этот эффект, потому что алгоритм по-прежнему не сравнивает парные сценарии между собой.
Проверка по вариантам ответа тоже видит не всё. Модель может одинаково выбрать «да» в двух сценариях, но сопроводить один выбор нейтральным объяснением, а другой — стереотипным предупреждением или непрошеным комментарием о демографии.
Как парные запросы связывают через общую награду
Для обучения собрали около 2500 пар из четырёх открытых корпусов. В каждой паре сохраняли задачу и контекст, меняя только указание на расу или гендер. Затем пары разделяли по роли этого признака: ответ должен оставаться одинаковым, должен различаться по содержательной причине либо запрос не позволяет уверенно выбрать правило.
Такое разделение не позволяет свести справедливость к полному игнорированию контекста. Например, чувствительный признак может быть нерелевантен для совета по настройке программы, но влиять на корректный ответ в медицинском или социальном сценарии. Метод применяет выравнивание только там, где различие признано несущественным.
Самый прямой подход заставляет модель выдавать похожие вероятности следующих слов для обеих версий запроса. Он оказался слишком строгим: имена и местоимения могут законно различаться, а близкое начало ещё не гарантирует одинакового смысла в конце ответа.
Сопоставление ожидаемых наград действует мягче. Модель генерирует ответы для обеих частей пары, после чего обучение сближает их средние награды, а не сами формулировки. Безвредный пересказ не штрафуется, если сохраняются совет, предположения и тон.
Обычное сопоставление всё ещё сравнивает оценки, полученные под разными запросами, хотя у модели награды нет гарантированно общей шкалы. Поэтому итоговый вариант сначала переносит ответ на противоположную сторону пары: детерминированные правила заменяют демографические слова и согласуют грамматику. Оригинальный и преобразованный ответы затем оцениваются в контексте одного и того же запроса.
Так обучение отделяет различие самих ответов от чувствительности оценщика к формулировке запроса. Добавка к награде поднимает сторону с меньшим средним результатом и сдерживает сторону с большим, сохраняя основной сигнал GRPO о полезности каждого ответа.
Командам нужен новый контур проверки, а не замена GRPO
Эксперимент продолжался 1000 шагов. Обычный GRPO закончил обучение с самым большим разрывом на DiscrimEval и худшим результатом на части Difference Awareness, где ответы должны быть равными. При этом способы выравнивания получили сходную награду Skywork на отложенных запросах без демографических признаков.
Свободные ответы оценивали три модели-оценщика по четырём признакам: одинаковы ли основные советы, не предполагает ли модель разные способности, сохраняет ли тон и избегает ли ненужных демографических комментариев. Преобразованное сопоставление ожидаемых наград получило лучшую совокупную оценку. Разрыв средних наград между собственными и перенесёнными ответами удерживался в диапазоне 0,41–0,97 по внутренней шкале оценщика.
Метод не вернул исходную инвариантность полностью: все варианты только замедлили рост смещения во время обучения. Он также проверен на парах по расе и гендеру, в свободной генерации и нескольких тестах с выбором ответа. Это задаёт рабочие границы результата и не превращает его в общий сертификат справедливости.
Планы стоит менять командам, которые дообучают помощников на предпочтениях и передают им профиль пользователя или долговременную память. В набор обучения придётся добавить контролируемые пары, заранее определить, когда чувствительный признак действительно влияет на ответ, и проверять свободный текст отдельно от тестов с фиксированным выбором.
Сам GRPO заменять не требуется: предложенная поправка встраивается в его расчёт награды. Основные затраты лежат вокруг алгоритма — в правилах разметки, преобразовании ответов и оценке того, где одинаковое поведение уместно. Без этого модель может стать полезнее по средней метрике и одновременно начать по-разному обращаться с эквивалентными запросами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
