Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Chunggi Lee и Hanspeter Pfister из Harvard University представили AVERT для исправления состояния голосового диалога в препринте, который не проходил рецензирования. На SpokenWOZ метод повысил JGA — долю ходов, где всё состояние совпало с эталоном, — на 1,79 процентного пункта относительно текстового редактора. Работа важна командам, которые строят голосовых помощников поверх распознавания речи и накопительного состояния диалога.
Что сделали
Состояние диалога — это набор полей и значений, по которым система выбирает следующее действие: например, город назначения, название ресторана или наличие парковки. В голосовом интерфейсе модель должна восстановить эти данные из аудио, а ошибка распознавания имени или числа может сохраниться в следующих репликах.
Исходная схема авторов состоит из двух моделей с декодерами на миллиард параметров. Базовая речевая модель получает аудио текущей реплики и текстовую историю, а затем выдаёт расшифровку и первый вариант состояния. Отдельный текстовый редактор видит накопленную расшифровку и исправляет этот вариант, но не имеет доступа к аудио.
AVERT добавляется после редактора и не требует переобучать эти две модели. Он собирает варианты значений, которые базовая модель и редактор предлагали на предыдущих ходах, а затем оценивает каждый вариант по двум сигналам: согласованности между ходами и поддержке со стороны аудио. Для второго сигнала авторы обучили отдельный классификатор, который получает аудио, название поля и предполагаемое значение.
После оценки применяются три операции. «Голосование» выбирает наиболее подтверждённый вариант, если значение менялось между ходами. «Добавление» восстанавливает пропущенное поле. «Замена» убирает значение, которого нет в расшифровке, если среди кандидатов есть подтверждённая альтернатива.
Добавление и замена используют дополнительный фильтр: первый токен кандидата должен встречаться в накопленной расшифровке. Это снижает риск вставки произвольных сущностей, но ограничивает метод случаями, где распознавание речи сохранило хотя бы часть правильного значения. Кроме того, каждую операцию разрешают только для полей, на которых она чаще исправляла ошибки, чем создавала их на проверочной части SpokenWOZ.
Что показали
По замерам авторов, общее число ошибочных полей после AVERT снизилось на 7,1%. Пропуски и противоречия между ходами сократились примерно на 16%, но число прочих неверных значений выросло на 23,6%: операция добавления иногда вставляла поле, которое редактор обоснованно оставил пустым.
Относительный выигрыш увеличивался по мере накопления истории и на поздних ходах достигал 19,4%. Это соответствует устройству метода: в длинном диалоге для голосования доступно больше прошлых вариантов, тогда как проверка по аудио остаётся локальной для отдельной реплики.
Аудиоклассификатор дал статистически значимый прирост. При этом простого объединения ответов двух моделей оказалось недостаточно. Если разрешить голосование для всех полей, результат падает на величину до 3,6 пункта JGA: прошлые ответы начинают перезаписывать правильные категориальные и логические значения, для которых накопительное голосование не подходит.
Ограничения
Работу проверяли только на SpokenWOZ и только с моделями масштаба около миллиарда параметров. Речевую часть предварительно обучали также на Loquacious и Fisher, а редактор, классификатор и наборы разрешённых полей настраивали с использованием данных SpokenWOZ. Перенос на другую схему без размеченной проверочной выборки авторы не оценивали.
Лексический фильтр задаёт жёсткий предел применимости: эталонное значение встречалось в накопленной расшифровке только для 21% ошибок редактора. Оставшиеся 79% недоступны текущим операциям добавления и замены, если система распознавания стабильно искажает имя, число или редкое слово. Авторы также не измеряли, как эта доля распределяется между акцентами и группами говорящих.
Сравнение с системой, которая передаёт модели полную аудиоисторию, не выравнено по вычислительным ресурсам. AVERT использует два декодера, тогда как сопоставленная авторами конфигурация — один. В работе нет проверки на более крупных моделях и нет сравнения при одинаковом числе декодеров, задержке и бюджете памяти, поэтому из результатов нельзя заключить, что эта архитектура эффективнее альтернативы при равной стоимости.
Что это значит
Работа не меняет планы команд, которые только выбирают базовую архитектуру голосового продукта: одного эксперимента на SpokenWOZ недостаточно, чтобы предпочесть каскад из нескольких моделей сквозной речевой системе. Полный конвейер в замерах авторов обрабатывал ход за 4,148 секунды на NVIDIA A100. Сам аудиоклассификатор занимал 56 миллисекунд, но основную задержку создавали последовательные запуски базовой модели и редактора.
Для уже работающей схемы «распознавание речи — текстовый редактор — состояние диалога» вывод практичнее. Вместо переобучения основной модели можно протестировать отдельный слой проверки кандидатов: хранить значения из прошлых ходов, подтверждать спорные варианты по аудио и разрешать разные исправления только для подходящих полей.
Ключевое инженерное решение здесь не сам классификатор, а ограниченная область его полномочий. Результаты авторов показывают, что глобальное голосование способно ухудшить состояние, даже если отдельные кандидаты выглядят согласованными. Для внедрения потребуются размеченные диалоги целевого продукта, настройка операций по каждому полю и отдельные проверки ложных добавлений. Поэтому AVERT стоит рассматривать как шаблон корректирующего слоя для существующего конвейера, а не как основание менять всю архитектуру.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
