Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агенты часто выполняют необратимую команду, когда поиск сообщает о второй подходящей записи, но не показывает её; полный список или проверка известного пользователю признака останавливает их надёжнее. Хотя препринт не прошёл рецензирование и все числа получили сами авторы, сравнение выявило устойчивую разницу: показ обеих записей останавливал большинство агентов, а один счётчик — нет. Командам стоит проектировать безопасный поиск и проверку личности до операции записи, а не рассчитывать на системную подсказку.
Действие разрешают три вида подтверждения
Запрос «отменить бронирование Sophia Silva» содержит скрытое условие: подходящее бронирование только одно. Фраза «удалить папку Q3 Drafts, она пустая» содержит явное утверждение, которое инструмент может опровергнуть, показав файл внутри.
Агент может действовать, если инструмент подтвердил каждое такое условие. Если данных недостаточно или они противоречат запросу, агент должен прочитать дополнительные записи либо спросить пользователя. Третий допустимый вариант — сообщить о сомнении, пока действие ещё можно отменить.
Эта схема разделяет сигналы, которые обычно смешивают в одной подсказке. Слова пользователя не заменяют данные инструмента, счётчик совпадений не выбирает нужную запись, а возможность отката не помогает, если агент ничего не сообщил пользователю.
Проверка охватила 36 агентов предыдущего поколения в 14 предметных областях: бронирования, папки, учётные записи и другие сущности. В каждой задаче меняли только результат поиска: первую запись без предупреждения, первую запись с пометкой, запись со счётчиком либо полный список. Системная подсказка задавала лишь роль агента. Новейшие Claude и GPT запускали только на выбранных условиях, поэтому напрямую переносить их результат на всю сетку нельзя.
Счётчик второй записи не заменяет её показ
Когда поиск возвращал одну запись и сообщал, что совпадений больше, агенты выполняли действие в 54% прогонов. Когда инструмент сразу показывал обе записи, доля снижалась до 20%. Многие модели правильно пересказывали счётчик в отдельном вопросе и даже упоминали его в рассуждении, но всё равно применяли команду к первой записи.
Разница возникала не из-за отсутствия доступа. Вторую запись можно было открыть дополнительным вызовом, но большинство агентов этого не делали. Если агент всё же открывал её, он редко переходил к операции записи. Новейшие Claude и GPT в выбранных условиях всегда читали вторую запись и затем отказывались действовать без уточнения.
С явным утверждением пользователя поведение менялось. Если пользователь говорил, что папка пуста, а результат показывал один вложенный объект, счётчик и полный список останавливали агентов почти одинаково: действие выполнялось в 28% и 29% прогонов. Моделям оказалось проще связать число с прямым противоречием в запросе, чем понять, что несколько одноимённых записей требуют выбора.
Если инструмент скрывал второе совпадение полностью, модели действовали почти так же, как в мире с одной записью. Это не исправить рассуждением: два состояния выглядят для агента одинаково. Предупреждение о возможных совпадениях помогало слабее полного списка, а описание ограничения только в документации инструмента часто оставалось без внимания.
Дополнительная строка в системной подсказке заметно сокращала ошибочные действия, но одновременно мешала выполнять однозначные запросы. Она меняла общую осторожность модели, а не давала недостающие сведения. Поэтому подсказка может дополнять интерфейс инструмента, но не заменяет его.
Безопасность нужно закладывать в поиск до выбора модели
Практическую проверку провели на розничных сценариях tau-bench. В данные добавили второго покупателя с теми же именем и почтовым индексом и поставили его первым в результатах поиска. Агенты записывали изменения в чужую учётную запись примерно в четверти диалогов.
Полный список почти устранил тихие ошибки: у большинства агентов оставалось не более двух неверных записей на 87 диалогов. Но такой интерфейс раскрывает агенту данные другого клиента. Более аккуратный вариант спрашивал улицу, которую знает пользователь, и возвращал учётную запись только при совпадении. Качество выполнения задач снизилось не более чем на 6 процентных пунктов относительно сценария с одним клиентом.
Для продуктовой архитектуры из этого следуют три решения. Поиск должен возвращать все конкурирующие записи либо явно поддерживать переход к ним; перед необратимой операцией нужно проверять признак, который различает записи и известен пользователю; тесты должны менять не только формулировку запроса, но и то, что именно показывает инструмент.
Выбор более новой модели полезен, если она стабильно открывает дополнительные записи, однако он не закрывает дефект интерфейса. Если поиск возвращает только первое совпадение и не даёт признака второго, осторожная модель не отличит однозначный запрос от опасного. Планы команд меняются прежде всего на уровне контрактов API, проверок перед записью и сценариев оценки, а не на уровне одной системной подсказки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



