Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агенты с инструментами часто не замечают сбой, если сервис возвращает правдоподобный, но неверный результат. В нерецензированном препринте Obada Kraishan числа получены самим автором: явную ошибку модели распознали в 91,3% случаев, а тихое искажение — в 58,8%. Значит, корректный код ответа и подходящая структура данных не защищают процесс от неверного действия.
Для проверки в исполняемую среду Berkeley Function-Calling Leaderboard добавили тайм-аут, пропавший инструмент, изменение схемы параметров и искажение результата. Последний сбой сохранял тип и структуру ответа, но менял содержание: например, число сдвигалось, а из списка исчезал элемент. Модели Claude, DeepSeek и Qwen прошли 1 920 прогонов многошаговых задач.
Модели с отдельной фазой рассуждения замечали сбои на 9,3 процентного пункта реже, чем их обычные версии из тех же семейств. Они чаще меняли следующий шаг, но не чаще восстанавливали процесс. Дополнительная строка в системной инструкции с просьбой проверять каждый результат тоже не повлияла на распознавание ошибок.
Проверка охватывала симулированные среды одного набора задач и четыре заранее заданных типа сбоев. Только исчезновение инструмента явно ухудшило восстановление процесса; последствия тайм-аутов, изменения схемы и искажения ответа не вышли за обычный разброс между повторными запусками без сбоев.
При внедрении такого агента проверять нужно не только статус вызова, но и сам результат до того, как он попадёт в контекст модели. Для чисел и списков подойдут ограничения диапазонов, сверка обязательных элементов и проверка согласованности с предыдущим состоянием. Переход на модель с рассуждением или общая просьба «проверять ответы» не заменяют эти механизмы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
