Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Высокая уверенность LLM-агента не означает, что дополнительная проверка исправит его ответ. В препринте Khushal Sethi, который не проходил рецензирование и где замеры выполнил сам автор, контроллер потратил в 4,32 раза больше вызовов, но получил те же результаты, что и одиночная генерация. Для команд это меняет прежде всего план испытаний: качество сигнала и пользу всей системы нужно проверять раздельно.
Один показатель отвечает на три разные задачи
Контроллер — это компонент, который решает, оставить ли первый ответ, запросить новый, передать задачу более крупной модели или отказаться от ответа. Обычно он опирается на показатель уверенности: например, проверяет, совпадают ли результаты нескольких генераций или переформулированных запросов.
Работа разделяет три свойства такого показателя. Первое — насколько хорошо он ставит правильные ответы выше неправильных. Второе — помогает ли он отбрасывать сомнительные ответы так, чтобы среди оставшихся росла точность. Третье — исправляет ли дополнительный вызов итоговый результат.
Эти свойства не следуют друг из друга. Сигнал может безошибочно отметить исходный ответ как сомнительный, но замена окажется такой же неправильной. Отказ от сложных случаев тоже повысит точность среди выданных ответов, однако не исправит ни одной задачи.
Полезность исправления автор раскладывает на два встречных события: контроллер заменил ошибку правильным ответом или испортил уже правильный ответ. Изменение общей точности равно разнице между такими исправлениями и потерями. Поэтому одной оценки уверенности недостаточно: нужны качество замены, риск испортить ответ и стоимость дополнительного вызова.
Число исходных ошибок ограничивает результат эксперимента
Контроллер, который только заменяет предложенный ответ, может помочь лишь там, где базовая модель ошиблась. Значит, число исходных ошибок заранее ограничивает число задач, на которых результаты базовой и новой систем вообще способны разойтись.
Это ограничение можно проверить до запуска дорогого испытания. Если статистическому тесту нужно больше различающихся пар, чем базовая модель сделала ошибок, даже идеальный контроллер не сможет показать значимый выигрыш. Нулевой результат в таком опыте ничего не скажет о качестве механизма.
В малой серии показатель согласия между переформулированными запросами достиг AUROC 0,990. Эта метрика показывает, как часто случайный правильный ответ получает более высокий балл, чем случайный неправильный. Однако высокий результат ранжирования не привёл ни к одному изменению исхода.
В контролируемой серии проверяющие механизмы не заменили ответ ни в одном из 60 решений GSM8K. На диагностическом наборе контроллер мог исправить не более четырёх ошибок, тогда как тесту требовалось шесть различающихся пар. Единственное улучшение на GSM8K пришлось на задачу, где API выдал разные ответы при повторных запросах с температурой ноль.
Работу проверяли на локальной Qwen2.5-3B и одном более крупном API-маршруте deepseek/deepseek-v4.1-flash, на арифметических задачах GSM8K и синтетической текстовой среде MiniHouse. Контролируемая серия охватила 840 эпизодов, но только одно повторение и узкие семейства задач, поэтому результат описывает устройство измерения, а не бесполезность всех контроллеров уверенности.
Планы стоит менять в оценке, а не в архитектуре
Работа не даёт причины отказаться от повторной генерации, проверки согласия или передачи задачи более крупной модели. Она показывает, что обычное сравнение итоговой точности может не проверить заявленный механизм: контроллер не срабатывает, тесту не хватает ошибок или результат смешивается с нестабильностью API.
Перед основным прогоном команде стоит измерить точность базовой модели и посчитать, достаточно ли её ошибок для выбранного парного теста. Если набор почти решён, нужно брать более трудные примеры или увеличивать их число, а не расходовать бюджет на несколько вариантов контроллера в том же наборе.
Во время испытания следует записывать, когда контроллер действительно заменил ответ, что было до замены и что стало после неё. Без частоты вмешательств итоговая таблица не отличает неудачный механизм от механизма, который ни разу не включился.
Контроллер также нужно сравнивать с повторной генерацией и голосованием при одинаковом бюджете вызовов. Иначе выигрыш может давать само получение дополнительных ответов, а не показатель уверенности. Для API-сервисов нужен общий исходный ответ для сравниваемых ветвей: отдельные базовые запросы смешивают эффект политики с недетерминированностью сервиса.
Практический вывод касается критериев готовности. Хорошее ранжирование ошибок подтверждает только диагностическую ценность сигнала. Выпускать механизм исправления стоит после отдельного замера реальных замен, исправленных и испорченных ответов, стоимости вызовов и преимущества над простым повторным запуском.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



