Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один итоговый балл учит поискового агента отвечать точнее, но может отучать его опираться на найденные источники. В нерецензированном препринте, где все числа получили сами авторы, новый способ распределять награду повысил точность младшей модели на 5,7 пункта относительно Search-R1. Для команд это меняет не архитектуру агента, а то, как обучение связывает действия с результатом.
Почему правильный ответ портит обучение поиска
Search-R1 запускает несколько вариантов прохождения одного задания и проверяет итоговый ответ по эталону. GRPO сравнивает результаты внутри этой группы, вычисляет преимущество каждого варианта и назначает его всем токенам агента: поисковым запросам, рассуждениям и финальному ответу.
Так один сигнал смешивает две разные способности. Агент должен сначала найти подходяющий фрагмент, а затем правильно использовать его. Если поиск сработал, но модель ошиблась в ответе, отрицательная награда ослабляет и удачный поиск. Если модель угадала ответ по памяти, положительная награда достаётся прохождению, которое не нашло доказательств.
На Bamboogle доля правильных ответов, подтверждённых найденными фрагментами, после обучения Search-R1 упала с 84,0% до 42,9%, хотя точность выросла. Модель лучше проходила проверку результата, но чаще обходила тот навык, ради которого ей дали поисковый инструмент.
Авторы связывают это с разрывом между успешностью поиска и успешностью ответа. GRPO поощряет прохождения с найденным доказательством лишь тогда, когда они в среднем заканчиваются точнее остальных. Ответы по памяти и ошибки при использовании найденного текста уменьшают этот разрыв, поэтому полезный поисковый шаг может остаться без положительного сигнала.
Как GCA разделяет вклад поиска и ответа
Grounded Credit Assignment, или GCA, сохраняет итоговую награду, но корректирует её отдельно для функциональных частей прохождения. Метод проверяет, встретился ли эталонный ответ в результатах поиска, на каком запросе это произошло и совпал ли финальный ответ с эталоном.
По этим признакам прохождение делится на полезный поиск до первого подходящего фрагмента, последующие или неудачные запросы и финальный ответ. Если агент нашёл доказательство, но ответил неверно, GCA ослабляет наказание полезных поисковых токенов и усиливает его для ответа. Если агент ответил правильно без доступного ему доказательства, положительный сигнал для такого прохождения уменьшается.
Коррекция не меняет знак исходного преимущества и составляет не больше 10% от него для каждого токена. Поэтому GCA не превращает ошибочное прохождение в успешное, а лишь уточняет, какие действия внутри него стоит повторять. Неограниченный вариант в экспериментах дестабилизировал обучение, поэтому ограничение здесь служит не только теоретической гарантией.
Внутри каждого сегмента метод сильнее корректирует токены, которые могли повлиять на решение. Для полезного поиска это неуверенно выбранные, но удачные элементы запроса; для ошибки — уверенно выбранные вредные токены. Оценка строится по вероятностям самой обучаемой модели, поэтому отдельная модель-оценщик не нужна.
Метод проверяли на Qwen2.5-3B-Instruct и Qwen3-30B-A3B-Instruct, обучая их на смеси NQ и HotpotQA и оценивая на семи наборах вопросов. Оба агента работали с одним индексом E5 по снимку Wikipedia, получали несколько верхних фрагментов и имели ограниченное число поисковых ходов; перенос на другие семейства моделей и живой веб-поиск в работе не проверяли.
Когда результаты меняют план разработки
На более крупной Qwen метод повысил среднюю долю ответов, точно совпавших с эталоном, на 6,3 пункта относительно Search-R1. На младшей модели доля правильных ответов, подкреплённых найденным текстом, выросла с 76,9% до 93,4%. Рост затронул не только формальную точность: агент чаще находил фрагмент с ответом и сохранял связь между поиском и результатом.
GCA не требует дополнительных прохождений, отдельного этапа обучения или вспомогательной модели. Он меняет распределение уже вычисленного преимущества между токенами, поэтому его можно встроить в существующий цикл GRPO или GSPO, если команда контролирует обучение политики и хранит вероятности токенов.
Практическое условие — проверяемые промежуточные результаты. В работе ими служат эталонные варианты ответа и простая проверка их наличия в найденном тексте. Она измеряет упоминание ответа, а не то, действительно ли фрагмент доказывает вывод, поэтому для корпоративных данных понадобится свой проверяемый сигнал: результат выполнения кода, состояние процесса или проверка соответствия доказательства утверждению.
Для агента, который только вызывает готовую модель через API, работа не предлагает отдельного улучшения на этапе выполнения. Она относится к командам, которые дообучают поисковую политику с подкреплением. В таком контуре единая награда за финал больше не выглядит достаточной: если промежуточный шаг можно проверить автоматически, его вклад стоит учитывать отдельно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
