Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агент может не ждать сообщения помощника, если его собственная уверенность заранее указывает, что итоговый ответ почти наверняка не изменится. В нерецензированном препринте, где все числа получили сами авторы, команда University of Houston, Argonne National Laboratory и Oregon State University в заранее зафиксированном тесте отключала проверяющего агента для 39,9% запросов и сохранила 12,55 из 12,80 процентного пункта прироста качества. Такой порог позволяет сокращать задержку не по эвристике, а с формальной границей риска.
Как уверенность превращают в разрешение пропустить сообщение
Авторы рассматривают систему, в которой агент-получатель обычно ждёт текст или кэш ключей и значений от агента-помощника. Эталоном служит именно этот полный путь: пропуск считают безопасным, если итоговый ответ получателя редко отличается от ответа системы с сообщением.
Это не гарантия правильности. Если оба пути дают один и тот же неверный ответ, система считает их согласованными. Зато для настройки не нужны ответы с правильными метками: достаточно запустить оба пути на неразмеченных запросах и сравнить результат, который извлёк фиксированный анализатор ответа.
Перед маршрутизацией получатель самостоятельно обрабатывает вопрос и варианты ответа. Мера неопределённости равна единице минус вероятность наиболее вероятного варианта: чем она ниже, тем увереннее модель и тем больше оснований не ждать помощника.
Порог сначала выбирают на одной части запросов, а затем проверяют на отдельной калибровочной части. Точный статистический тест разрешает использовать только тот порог, при котором доля изменившихся ответов с высокой вероятностью не превышает 5%. Если ни один порог не проходит проверку, система продолжает отправлять все запросы по полному пути.
Проверка относится к порогу вместе с анализатором ответа. Если продукт меняет формат вывода, правила разбора или состав трафика, прежняя гарантия уже не описывает в точности новую систему. Калибровку поэтому нужно привязывать к тому представлению ответа, которое действительно получает приложение.
Полезный помощник остаётся полезным не на каждом запросе
В четырёх конфигурациях, где текст помощника повышал качество, политика пропускала сообщение на 59–80% новых вопросов и сохраняла 76–95% его прироста. Иными словами, помощник приносил пользу, но большей части запросов его вклад не требовался для сохранения ответа полного пути.
Обычная оценка потенциальной пользы нескольких путей здесь вводит в заблуждение. Она показывает, сколько правильных ответов дал бы идеальный переключатель, который задним числом выбирает лучший путь для каждого вопроса. Управляющие воздействия без полезного содержания — перестановка вариантов и сообщение от другого вопроса — воспроизвели медианно 76% такого выигрыша. Разные ответы ещё не доказывают, что помощник передал нужное знание.
Для передачи кэша ключей и значений результат оказался ещё показательнее: все пути, для которых удалось сертифицировать пропуск, уступали по точности самостоятельному получателю. Метод в этих случаях не сохранял полезную коммуникацию, а находил избыточный вычислительный путь.
Безопасность не означает экономию. Проверка уверенности запускается для каждого запроса, поэтому её стоимость нужно вычесть из времени, сэкономленного на пропущенных сообщениях. При обработке запросов по одному отказ от текстового сообщения экономил сотни миллисекунд, а отказ от передачи кэша — заметно меньше.
Основные проверки охватили малую, среднюю и крупную пары моделей Qwen на OpenBookQA, ARC-Challenge и MMLU-Pro. Дополнительные опыты включали модели разных семейств, извлечение ответа из текста на SQuAD и математические задачи GSM8K: для SQuAD порог удалось подтвердить, для GSM8K — нет. Модели отвечали жадно, без режима рассуждения; задержку измеряли как полное время обработки запроса на GPU.
Когда такой маршрутизатор меняет план разработки
Работа даёт практический шаблон для систем, где помощник, проверяющий агент или отдельная модель уже входят в стабильный полный путь. Вместо обучения ещё одного маршрутизатора на размеченных данных можно собрать парные ответы на обычном трафике, зафиксировать анализатор и подтвердить порог по частоте расхождений.
Добавлять этот механизм имеет смысл после измерения полной стоимости. Получатель сначала выполняет дополнительный проход для оценки уверенности, а затем на части запросов запускается повторно для ответа. Если помощник работает быстро, параллельно с получателем или передаёт небольшой внутренний кэш, проверка может съесть всю экономию.
Порог также нельзя трактовать как общее разрешение отключить помощника. Он действует для конкретной пары моделей, типа сообщений, распределения запросов и правил разбора. При смене модели или формата ответа процедуру следует повторить; предусмотренный авторами отказ от пропуска оставляет исходную систему рабочим запасным вариантом.
Главное изменение для архитектурного плана состоит не в новом типе агента, а в критерии удаления коммуникации. Команде нужны две независимые проверки: редко ли пропуск меняет наблюдаемый ответ и превышает ли сэкономленное время стоимость решения. Только первая отвечает за предсказуемость поведения, только вторая — за производственный смысл оптимизации.
Источники
Иллюстрация: рисунок из статьи «Safe to Omit, Worth Omitting? Keeping the Answer and Cutting Latency When an LLM Agent Skips Another's Message», Xinyang Li, Chih-Hsuan Yang, Xiaolong Ma и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



