Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Успешное восстановление после тайм-аута не доказывает, что ИИ-агент имел право повторно вызвать инструмент. В препринте You Liu, Yue Liu и Quanchao Lu, который не прошёл рецензирование, все числа рассчитали сами авторы: Terra и Luna повторили вызов с неподходящим ключом в 55 из 80 и 60 из 80 ответов. Значит, при оценке агента нельзя считать правильный итог достаточным — нужно отдельно проверять, разрешал ли видимый контракт повтор.
RetryBench фиксирует первое решение модели после тайм-аута и проверяет его в нескольких совместимых сценариях. Ответ «объект не найден» может означать, что операция не выполнилась, ещё выполняется или уже завершилась, но результат пока не виден. Повтор разрешён, только если достоверная проверка исключает выполненную и ожидающую операцию либо сервис обеспечивает стабильный ключ идемпотентности, с которым повтор одной операции не создаёт второй эффект.
Модели могли безопасно продолжить работу, когда им давали правильный ключ, но не всегда отвергали изменённый. Когда готовый вариант ключа убрали и предложили модели указать его самостоятельно, Luna всё равно сделала неподдержанный контрактом вызов в 8 из 80 ответов; Sol и Terra таких вызовов не сделали. Ошибку нельзя объяснить только тем, что модель соглашалась с показанным ей вариантом.
Для интеграции это меняет схему проверки и журналирования. Следует отдельно сохранять видимое модели состояние операции, условия повторного вызова, исходный и повторный ключи, первое выбранное действие и фактический итог. Иначе успешный ответ API скроет нарушение контракта, а запрет всех повторов покажется безопасным, хотя оставит часть операций незавершёнными.
Проверка охватывает четыре синтетические задачи из разработки ПО, фиксированные конфигурации GPT и одно решение после сбоя. Она сравнивает варианты подписей, формата действий и условий ключа, но не оценивает последовательное восстановление после новых наблюдений или безопасность всего рабочего процесса. Когда слабые условия проверки описали явно, модели отложили действие во всех 762 полученных ответах — такой результат показывает консервативное поведение в этом интерфейсе, а не готовность к промышленной эксплуатации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
