Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Голосовой агент научили запускать внешний инструмент до конца реплики, а затем отменять действие, если пользователь начал исправлять уже названный аргумент. В препринте Daijin Hu и Xi Wang из Beihang University, который не проходил рецензирование, а все числа получили сами авторы, доля устаревших выполнений снизилась с 50% до 3,15% при средней задержке успешного результата 3,676 секунды. Такой контроллер позволяет не выбирать между запуском после полной реплики и безусловным ранним вызовом.
Как агент решает, продолжать ли уже запущенный вызов
Проблема возникает, когда распознавание речи уже выделило аргумент, но пользователь ещё говорит. Например, агент успел запустить создание встречи на одно время, после чего услышал исправление. Даже если итоговый вызов будет верным, первая операция может перейти границу, после которой её уже нельзя отменить.
RASSG разделяет решение на запуск и продолжение. Контроллер запускает инструмент, когда три последовательных результата распознавания содержат одинаковый непустой аргумент. Он сравнивает именно нормализованные значения аргумента, а не весь текст: разные варианты расшифровки не мешают запуску, если из них следует одно и то же время, место или имя контакта.
После запуска контроллер продолжает следить за текущей версией аргумента. Небольшая рекуррентная модель учитывает уверенность распознавания, историю разбора, текст уже услышанной части, паузы и возраст версии. Она оценивает риск того, что аргумент окажется неверным или пользователь заменит его до конца реплики.
Одного риска недостаточно. RASSG также знает время выполнения инструмента, срок возможной отмены, задержку подтверждения отмены и стоимость потерянной работы. На последнем шаге, когда отмена ещё успеет сработать, контроллер сравнивает ожидаемый ущерб от устаревшего действия со стоимостью отмены и повторного запуска.
Если распознан новый аргумент, обновление получает приоритет. Инструмент может сохранить уже выполненную часть работы, когда она не зависит от изменённого поля. Например, подготовительный этап останется полезным после замены времени встречи, но только если интерфейс инструмента явно допускает такое повторное использование.
Метод проверяли на синтетическом ReCAST с тестовой выборкой из 2400 записей и на публичных FDB-v3 и Audio2Tool. Для публичной речи планы инструментов разбирала Qwen2.5-3B-Instruct, а вызовы исполнялись на управляемых часах с фиксированными сроками работы, отмены и подтверждения. Поэтому эксперимент измеряет качество контроллера при заданной семантике инструментов, а не задержки реальной инфраструктуры.
Отмена защищает лучше, чем ожидание исправленного аргумента
Устаревшим считалось выполнение, при котором хотя бы одна неверная версия вызова пересекла необратимую границу. Метрика учитывает такой ущерб, даже если агент позже запустил правильную операцию и успешно завершил задачу.
Контрольный вариант с теми же первыми запусками и обновлениями, но без активной отмены, дал 49,92% устаревших выполнений. Значит, основной эффект нельзя объяснить только более осторожным условием запуска: контроллер выигрывает за счёт вмешательства в уже идущий вызов до появления полностью разобранной замены.
На FDB-v3 RASSG снизил долю устаревших выполнений относительно немедленного спекулятивного вызова на 20 процентных пунктов, а на Audio2Tool — на 26,39 пункта. Разница статистически значима. Метод также обошёл варианты, которые запускали параллельные операции или отменяли старую только после получения нового аргумента.
При этом RASSG не исправляет ошибки распознавания и разбора инструментов. На публичных наборах заметная часть устаревших действий возникала потому, что итоговый план оставался неверным даже после завершения речи. Контроллер снижает риск промежуточных правок, но не заменяет проверку финального вызова.
Что RASSG меняет в архитектуре голосового агента
Командам, которые ждут конца реплики перед любым действием, работа показывает промежуточный вариант: подготовку можно начать раньше, если вызов остаётся управляемым. Однако добавить только ранний запуск недостаточно. Между распознаванием речи и инструментами нужен отдельный контроллер, который хранит версии аргументов, следит за сроками и принимает подтверждения отмены.
Интерфейс инструмента становится частью модели безопасности. Для каждого действия нужно определить, когда оно становится необратимым, сколько длится отмена и можно ли обновить аргумент без полного перезапуска. Если инструмент не подтверждает отмену или не имеет ясной границы необратимости, применить правило RASSG напрямую нельзя.
Подход лучше всего подходит для операций с полезной подготовительной фазой и конечным окном отмены: бронирования, планирования, поиска или составных рабочих процессов. Для действий, которые создают внешний эффект сразу после вызова, преимущество раннего исполнения сокращается, потому что у контроллера не остаётся времени на исправление.
Работа не требует менять распознавание речи или модель разбора целиком. Архитектурное изменение находится ниже: вызов инструмента перестаёт быть единичным решением и становится управляемым процессом с версиями, обновлением и отменой. Перед внедрением результаты придётся перепроверить с реальными задержками и правилами конкретных API.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
