Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Поискового агента научили менять цель прямо посреди длинного ответа, не выбрасывая уже найденные факты. Работа University of Amsterdam и eBay не прошла рецензирование, а все числа получили сами авторы: на Qwen2.5-3B точность выросла почти втрое, с 11,1% до 31,3%. Для продукта с долгими поисковыми задачами это меняет не выбор базовой модели, а программу обучения и испытаний агента.
Почему найденный факт не меняет цель ответа
Обычного поискового агента обучают на траектории с одной целью. Он получает вопрос, несколько раз обращается к поиску, рассуждает над документами и формирует ответ. Даже если поиск занимает много шагов, исходный запрос остаётся главным до конца.
При вмешательстве пользователя это допущение ломается. Например, агент сначала выясняет, за какую команду играл Louis Dunbar. Пользователь не дожидается ответа и просит узнать, в скольких странах выступала эта команда. Агент должен сохранить найденное название, но переключить цель с команды на число стран.
Модели часто выполняли только половину этой задачи: находили документы для нового запроса, а в финале всё равно называли команду. Работа называет такой сбой привязкой к прежней цели ответа. Это не ошибка поиска и не просто потеря факта в длинном контексте — нужное свидетельство уже может находиться перед моделью, но управлять ответом продолжает старый вопрос.
Из-за этого обычная проверка качества поиска не показывает проблему. Агент может правильно разбить задачу на шаги, вызвать подходящие документы и успешно отвечать на одиночные вопросы, но не принять новую цель после начала работы.
Как вмешательство встроили в обучение
SteerSearch обучает модель с подкреплением на траекториях, где пользовательские уточнения появляются во время поиска и рассуждения. Момент вмешательства меняется случайно, а вся полезная история — запросы, найденные документы и промежуточные рассуждения — остаётся в контексте.
Если модель успела выдать преждевременный ответ до очередного вмешательства, этот ответ удаляют из продолжения траектории. Иначе собственная формулировка модели закрепляет старую цель сильнее, чем найденные факты. Рассуждения и результаты поиска при этом сохраняют, чтобы агент не начинал задачу заново.
Основная награда зависит от правильности финального ответа. Дополнительная награда CCR проверяет, сместилось ли рассуждение после вмешательства к обновлённой цели. Замороженная модель представления текста сравнивает новые фрагменты рассуждения с пользовательским контекстом до и после уточнения: близость к новой формулировке повышает награду, возврат к старой — снижает.
Для сравнения SteerSearch и Search-R1 использовали одинаковые базовые модели, поисковик, формат основной награды и бюджет обучения. Поэтому разницу связывают прежде всего с интерактивными траекториями, удалением преждевременных ответов и дополнительным сигналом для смены цели, а не с более качественным поисковым индексом.
Проверка охватывала Qwen2.5-3B и Qwen3-4B, а дополнительные опыты — более крупные Qwen2.5 и Gemma3-4B. SteerSearch-Bench собрали из HotpotQA, 2WikiMultiHopQA, MuSiQue и Bamboogle: исходные многошаговые вопросы превратили в цепочки вмешательств, после чего оценивали только конечный ответ по точному совпадению с эталоном. Перенос также проверили на диалогах TopiOCQA, написанных людьми.
Командам нужен отдельный контур испытаний для смены цели
На Qwen3-4B точность SteerSearch-Bench выросла с 36,6% у Search-R1 до 44,6% у SteerSearch. CCR подняла лучший результат меньшей модели до 39,6%, а большей — до 45,1%. При этом на обычных одиночных запросах SteerSearch сохранил уровень Search-R1: обучение вмешательствам не потребовало жертвовать базовым поисковым сценарием.
Работа не даёт основания менять поставщика модели только ради управления ответом на ходу. Эффект получили на нескольких открытых моделях, а сам метод меняет прежде всего данные и среду обучения. Если команда уже дообучает поискового агента с подкреплением, в план стоит добавить траектории с уточнениями, случайные моменты вмешательства и проверку последней цели отдельно от качества найденных документов.
Для системы без собственного обучения практический вывод относится к испытаниям. Сценарии должны включать не только новый вопрос после готового ответа, но и уточнение после поиска, смену требуемого типа сущности и сужение запроса в несколько шагов. Полезно отдельно фиксировать случаи, когда агент нашёл правильный документ, но ответил на отменённый вопрос: общая метрика качества поиска такой дефект скрывает.
Границы результата проходят по вопросно-ответным задачам, поиску в материалах наподобие Wikipedia и преимущественно искусственно собранным вмешательствам. Это ещё не замер на производственных исследовательских агентах с браузером, файлами и произвольными инструментами. Кроме того, способность принять новую цель не проверяет достоверность источников и не заменяет ограничения на опасные запросы.
Если пользователь не может вмешиваться в работу или повторный запуск стоит дёшево, менять архитектуру ради SteerSearch незачем. Для долгих задач, где уже найденный контекст дорог и перезапуск теряет прогресс, работа показывает конкретный разрыв: умение искать по одному запросу не означает умения продолжить поиск после смены цели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
