Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агенты часто просят уточнение, хотя уже могут выбрать допустимое действие. GPT-6-Astra верно определила следующий шаг в 92,57% задач, но дала полностью пригодный ответ лишь в 50,79%, хотя препринт не рецензирован и числа получили сами авторы. Для прикладного агента одной проверки решения недостаточно: нужно отдельно проверять действие, вопрос или исправленный запрос.
Схема делит следующий шаг на три варианта. Агент действует, если при всех допустимых предпочтениях или целях остаётся хотя бы одно общее решение. Если каждый вариант выполним, но общего решения нет, агент задаёт вопрос; если исходные ограничения невыполнимы, предлагает разрешённое изменение минимальной стоимости и действие, которое после него сработает.
Бенчмарк построили на распределении объектов, расписании встреч, выборе квартиры и стабильном подборе пар. Он содержит 4 320 запросов, объединённых в пары: источник неопределённости остаётся прежним, но в одной задаче вмешательство нужно, а в другой мешает. Правильные ответы вычисляют точные решатели, а результат проверяют фиксированные правила без модели-оценщика.
Проверка охватила GPT-6-Astra, Claude-5-Sonnet, Gemini-3.1-Pro и gpt-oss-120b в одношаговых запросах без инструментов. У GPT-6-Astra 303 из 321 ошибки пришлись на случаи, где уже следовало действовать. Явное описание обязательных полей меняло не только форму ответа, но и выбранный шаг, даже когда модель изначально выдавала корректно разобранный JSON.
В архитектуре агента эту развилку стоит задавать явно: действовать при общем допустимом результате, спрашивать только о данных, которые меняют выбор, и чинить ограничения лишь при невыполнимом запросе. Тесты должны проверять парные случаи и содержимое ответа, а не только метку решения. Работа охватывает конечные синтетические задачи с формальными правилами, поэтому её схема полезна прежде всего там, где допустимые действия и ограничения можно проверить программно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
