Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Поискового агента научили отличать сведения из найденных документов от знаний, которые модель извлекает из собственных параметров. Хотя препринт не прошёл рецензирование и все числа получили сами авторы, SOAR снизил долю ответов с выдуманными подтверждениями до 4,05% — на 74,81% относительно базового уровня. Для команд, которые обучают агентов с поиском, работа предлагает менять не поисковик, а структуру траектории и награду.
Почему правильный ответ может обучать агента плохому поиску
Обычный поисковый агент чередует рассуждение, запросы к поисковику и чтение найденных документов. При обучении с подкреплением он получает награду за итоговый ответ, но система не видит, какие сведения действительно привели к результату.
Из-за этого агент может найти неполные материалы, заполнить пробел внутренними знаниями модели и случайно ответить правильно. Награда закрепит всю траекторию, хотя поиск не дал нужного основания. В следующий раз модель с большей вероятностью снова остановит поиск раньше и дополнит недостающее правдоподобной выдумкой.
Работа Zhejiang University и Microsoft называет такой сбой выдумыванием подтверждений: рассуждение или ответ опираются на факты, которых нет среди полученных сведений. Проблема не сводится к обычной фактической ошибке. Ответ может совпасть с эталоном, но скрыть неисправный поиск и передать обучению неверный сигнал.
SOAR делает происхождение сведений наблюдаемым. Для каждого промежуточного запроса агент получает два раздельных потока: документы от поисковика и собственный ответ модели на тот же запрос. Внутренний ответ генерируется изолированно, без предыдущей цепочки рассуждений, чтобы текущий контекст не смешивался с тем, что уже хранится в параметрах.
После этого агент явно выбирает, на какой поток опирается. Групповая оптимизация сравнивает несколько траекторий и связывает награду не только с правильностью финального ответа, но и с выбором источника. Так обучение может отличить успешное использование документа от удачной догадки по памяти.
Награда проверяет не только ответ, но и заявленный источник
Функция награды в SOAR складывается из трёх проверок. Первая сравнивает ответ с эталоном, вторая проверяет формат команд агента, а третья сопоставляет ответ с тем информационным потоком, который агент назвал основанием.
По умолчанию последняя проверка использует точное совпадение, а не отдельную модель-оценщик. Это ограничивает семантическую гибкость проверки, зато делает сигнал воспроизводимым и дешёвым во время обучения. В отдельном сравнении авторы также использовали Claude Opus 4.8 как проверяющую модель.
Разделение потоков само по себе не заставляет агента пользоваться ими правильно. В опыте без награды за согласованность источника агент чаще возвращался к внутренним сокращениям пути. Полная схема сильнее подавляла случаи, когда ответ оказывался правильным, но не следовал из найденных материалов.
Основные опыты провели на Qwen2.5-3B и Qwen2.5-7B. Модели обучали на вопросах из NQ и HotpotQA, а проверяли на одношаговых и многошаговых задачах, включая TriviaQA, PopQA, 2WikiMultihopQA, Musique и Bamboogle. Поиск работал по снимку Wikipedia за 2018 год и возвращал три наиболее подходящих документа на запрос.
Относительный выигрыш SOAR над базовыми методами составил 7,3% для меньшей модели и 5,4% для большей. Особенно заметным оказался эффект на вопросах, где нужно связать сведения из нескольких документов: именно там преждевременный переход от поиска к внутренним догадкам чаще ломает всю цепочку.
Выдумывание подтверждений оценивала GPT-5.6-Sol: модель проверяла, следуют ли рассуждение и ответ из переданного блока информации, не оценивая правильность самого ответа. Основные результаты относятся к статическому корпусу высокого качества; дополнительные опыты на ASQA и WebWalkerQA проверяют ту же схему с поиском в интернете.
Когда SOAR меняет план разработки агента
Работа влияет на архитектуру, если команда сама обучает поискового агента с подкреплением. В таком случае единой текстовой истории недостаточно: внутренние знания модели и результаты поиска стоит хранить как разные типы наблюдений, а в журнале траектории фиксировать, какой источник поддерживает каждый вывод.
Второе изменение касается критерия успеха. Награда только за правильный ответ допускает ложноположительные траектории: агент получает балл за совпадение с эталоном, хотя поиск не сработал. Проверка связи между ответом и выбранным источником позволяет отбрасывать такие успехи до обновления модели.
SOAR не требует заменять поисковый индекс или модель извлечения документов. Дополнительная работа возникает внутри контура агента: нужно отдельно получать внутренний ответ, сохранять два потока и проверять заявленное происхождение сведений. Авторы запускали внутреннее извлечение и внешний поиск параллельно на GPU, поэтому расход токенов за ход оставался сопоставим с базовым методом.
Для агента, который вызывается только через API и не проходит собственное обучение с подкреплением, SOAR нельзя перенести одной инструкцией. Но принцип остаётся прикладным: правильность ответа и подтверждённость источниками нужно считать разными сигналами. Если продукт отвечает по корпоративным документам, случайно верный ответ без найденного основания должен считаться сбоем поиска, а не успехом модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
