Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агента научили выбирать, на каких развилках тратить ограниченный лимит человеческих консультаций, а какие проходить самостоятельно. В работе AWS Agentic AI метод CVD на пакетной задаче Animals поднял нормализованный выигрыш до 0,58 против 0,25 у независимой оценки шагов, хотя препринт не рецензирован и все числа получили сами авторы. Для продуктовой команды это способ направлять экспертов туда, где их ответ действительно изменит результат, а не туда, где решение выглядит важным.
Ценность консультации зависит от исполнителя
Авторы называют подход дистилляцией ценности консультации — CVD. Он решает задачу после того, как команда уже определила возможные точки обращения к человеку: например, запросить закрытое требование клиента, уточнить предпочтение или получить решение ответственного менеджера.
Важность решения сама по себе ничего не говорит о пользе консультации. Один агент может правильно обработать шаг без подсказки, а другой — получить ответ человека, но неверно применить его дальше. Поэтому CVD оценивает не абстрактную сложность вопроса, а ожидаемое улучшение итогового результата для конкретного исполнителя.
Для обучения система заранее перебирает разные наборы консультаций и многократно запускает исполнителя методом Монте-Карло. Она сравнивает итоговую полезность задачи с ответом человека и без него, а затем обучает небольшой предсказатель воспроизводить эту разницу.
При пакетном распределении предсказатель оценивает весь набор обращений сразу. Это позволяет учитывать, что два ответа могут дополнять друг друга или, наоборот, сообщать почти одно и то же. Простая оценка каждого вопроса по отдельности таких связей не видит.
В последовательном процессе CVD учитывает оставшийся лимит и будущие развилки. Полезный сейчас вопрос может оказаться невыгодным, если он заберёт единственную консультацию, которая сильнее повлияла бы на результат позже.
После обучения дополнительные прогоны исполнителя не нужны. Агент передаёт доступный контекст предсказателю, получает оценки и выбирает обращения в рамках лимита. Дорогие вычисления переносятся из рабочего процесса в подготовку модели.
Совместная оценка помогает не на каждой задаче
CVD проверяли в пакетных и последовательных сценариях на задачах распознавания скрытого объекта, планирования поездок и встреч, выбора рейса и прохождения управляемых процессов. Результаты воспроизвели с Sonnet 5 и GPT-6.1 Sol. Возможные точки консультации во всех случаях были заданы заранее.
Для сравнения использовали прямой запрос к LLM, расчёт ценности информации и локальную модель, которая независимо оценивает каждый вопрос. Нормализованный выигрыш показывает, какую часть разрыва между случайным распределением консультаций и лучшим доступным распределением закрывает метод.
Совместная оценка особенно помогла на Animals, где ответы зависят друг от друга, и в последовательных сценариях ThinkingBox, где важно сохранить лимит для следующих шагов. На нескольких задачах локальная оценка дала сопоставимый результат. Значит, сложная модель наборов нужна не всегда: если консультации почти независимы, достаточно ранжировать их по отдельности.
На Flight результат зависел от исполнителя и правил расходования лимита. CVD мог выбрать меньше обращений, чем разрешено, тогда как конкурирующие методы использовали весь лимит; это ухудшило итог для GPT-6.1 Sol. После требования расходовать лимит полностью результат улучшился. Такая деталь важна для внедрения: возможность отказаться от консультации нельзя считать безусловно полезной.
Обучение оказалось устойчивым к сокращению дорогих прогонов. На Animals CVD сохранил не менее 90% исходного выигрыша при 62% вызовов, а на Trip Planning — при 10%. Упрощённый поиск с последовательным добавлением и заменой консультаций выбрал тот же набор, что и полный перебор, в 90–100% тестовых задач.
Когда подход меняет архитектуру продукта
CVD имеет смысл закладывать в систему, если один процесс регулярно повторяется, консультации ограничены, а качество результата можно измерить. Тогда команда может собрать результаты альтернативных маршрутов офлайн, обучить предсказатель и не запускать дополнительные LLM при каждом распределении внимания экспертов.
Метод требует данных о том, как конкретный исполнитель завершает задачу с разными наборами человеческих ответов. Предсказатель стоит обучать и проверять заново при смене основной модели: перенос между Sonnet 5 и GPT-6.1 Sol работал лучше там, где обе модели одинаково использовали полученную информацию, но расходился там, где их поведение отличалось.
Для нового процесса с небольшим потоком задач CVD может оказаться преждевременным. Сначала дешевле применить прямой выбор через LLM или независимую оценку каждого обращения, а сбор прогонов начать после появления стабильных точек консультации и понятной метрики результата.
Работа не предлагает искать сами развилки и не заменяет правила, по которым решения требуют формального одобрения человека. Она решает более узкую задачу: когда допустимо выбрать лишь часть уже известных обращений, распределить их по ожидаемому влиянию на конечный результат.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
