Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для обучения поискового агента не обязательно повторять каждый шаг длинной удачной сессии. ClueFlow от Yicheng Wang и коллег повысила точность обучения с подкреплением на 4,1 процентного пункта; поскольку препринт не проходил рецензирование, эти числа получили сами авторы. Практический выигрыш — исходный контекст можно сохранять только для ходов, которые доказуемо приблизили агента к ответу.
Как ClueFlow связывает источник, состояние и ответ
Поисковый агент ClueFlow ведёт два набора записей. В Evidence он сохраняет факты из просмотренных страниц, а в Candidate — возможные ответы, подтверждения, противоречия, нерешённые условия и следующий поисковый шаг.
Система записывает каждое добавление, изменение и удаление таких записей. Получается последовательность переходов состояния: она показывает не только очередной вызов браузера, но и то, как найденная информация изменила рабочую картину агента.
После завершения поиска модель-оценщик сверяет записи с эталонным ответом. Полезным считается Evidence, которое подтверждает правильный ответ или исключает неверного кандидата. Для Candidate учитываются изменения самого ответа, новые подтверждения и переход в состояние готовности.
Затем детерминированный алгоритм ищет браузерное действие, из которого пришло доказательство. Он сопоставляет идентификаторы документов, адреса страниц, заголовки и совпадающие фрагменты текста. Если надёжной связи нет, переход не получает положительной оценки.
Так складывается цепочка Source–State–Final: страница дала факт, факт изменил состояние, состояние поддержало финальный ответ. Эталон и вывод модели-оценщика применяются только после выполнения траектории и не попадают в контекст агента во время тестового поиска.
ClueFlow сохраняет и неполные цепочки из ошибочных попыток. Если агент пришёл к неверному ответу, но нашёл правильное доказательство и корректно обновил состояние, эти ходы всё равно можно использовать для обучения. Обычная фильтрация по финальному ответу выбросила бы их целиком.
Почему важен именно переход состояния
При обучении с учителем полезные ходы превращаются в отдельные примеры с тем контекстом, который агент видел в момент решения. Остальные ходы из успешной траектории объединяются в блоки, чтобы не копировать почти одинаковую историю поиска для каждого шага.
На BrowseComp-Plus этот подход использовал около 30% токенов полного обучения каждого хода в исходном контексте. Точность при выборочном обучении составила 46,27% против 46,14% у более затратного варианта. Здесь точность означает долю вопросов с правильным финальным ответом.
Добавление проверенных ходов из ошибочных траекторий подняло результат до 48,31%. Рост дал не больший объём успешных примеров, а возможность отделить полезный промежуточный результат от неудачного окончания поиска.
При обучении с подкреплением ClueFlow распределяет дополнительную оценку между получением источника, изменением состояния и отправкой ответа. Поощрение только источника и финального ответа оказалось хуже обучения по одному итоговому результату. Выигрыш появился, когда оценку получил весь путь, включая проверенное изменение Evidence или Candidate.
Это различие важно для длинных задач. Найденная страница сама по себе ещё не означает прогресс: агент может не извлечь нужный факт или не применить его к кандидату. Переход состояния фиксирует момент, когда информация действительно повлияла на дальнейший поиск.
Когда подход меняет план разработки агента
ClueFlow имеет смысл закладывать в архитектуру, если агент работает десятки ходов, возвращается к кандидатам и накапливает доказательства. Вместо неструктурированной истории ему потребуется изменяемое состояние, журнал переходов и связь каждой записи с браузерным наблюдением.
Меняется и подготовка обучающих данных. Команде нужно сохранять исходный контекст каждого значимого хода, проверять переходы после завершения поиска и уметь сопоставлять доказательство с источником. Взамен не приходится обучать модель на полном контексте каждого действия.
Проверку провели на двух моделях семейства Qwen и четырёх наборах задач с живым интернетом и фиксированным корпусом. Контролируемое сравнение способов обучения проходило на Qwen3-30B-A3B и BrowseComp-Plus, а бюджет оценки допускал до 800 обращений к браузеру на вопрос. Поэтому экономию токенов стоит переносить прежде всего на агентов с похожим длительным поиском, явным состоянием и эталонными ответами для послетраекторной проверки.
Для такого продукта работа предлагает не новую поисковую модель, а другой объект обучения. Единицей полезного опыта становится не весь удачный диалог и не отдельный вызов браузера, а подтверждённое изменение состояния вместе с источником, который его вызвал.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
