Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Новая архитектура распознаёт потоковую речь без ожидания будущих фрагментов и держит фиксированную память на протяжении всего звонка. В препринте Nir Krakowski, Tamir Cohen, Ohad Zohar и Chen Zarfati, который не проходил рецензирование и содержит замеры самих авторов, E-Gaborformer снизил долю ошибочно распознанных слов (WER) на английском трафике до 31% относительно Nemotron 3.5 ASR Streaming. Для голосовых агентов это даёт альтернативу архитектурам, у которых расход памяти растёт вместе с длительностью разговора.
Как рекуррентное состояние заменяет растущий кэш
Строго каузальный распознаватель строит каждый результат только по уже полученному звуку. Обычное каузальное внимание соблюдает это условие, но сохраняет ключи и значения для всех прошлых кадров: чем дольше разговор, тем больше кэш каждого соединения.
E-Gaborformer заменяет большую часть слоёв внимания на Gated DeltaNet-2. Такой слой после каждого кадра обновляет матричное состояние: стирает устаревшую часть, записывает новые признаки и управляет забыванием по отдельным каналам. Размер матрицы задан архитектурой и не зависит от продолжительности потока.
Полностью от внимания авторы не отказались. После нескольких рекуррентных слоёв идёт слой скользящего внимания, который точно извлекает недавние признаки из ограниченного окна. Рекуррентная ветвь переносит более старый контекст в сжатом виде, а внимание компенсирует её слабость при точном воспроизведении недавних деталей.
Свёртки и внимание также хранят только фиксированные окна. В производственной конфигурации состояние всего распознавателя, включая сеть предсказания следующего символа, занимает около 19 МБ на звонок. Каузальный кодировщик сопоставимого размера с неограниченным вниманием накопил бы более 1 ГБ за десять минут.
Зачем свёрткам словарь Габора
В E-Branchformer, на котором основана архитектура, локальная ветвь и место слияния ветвей используют временные глубинные свёртки. Обычно каждый канал свободно обучает отдельный набор коэффициентов фильтра. E-Gaborformer вместо этого собирает фильтр из 16 фиксированных заготовок Габора: гауссовых импульсов и волн разных частот.
Модель обучает только коэффициенты их смешивания. Все заготовки направлены в прошлое, поэтому свёртка остаётся каузальной по построению. Фильтр охватывает до 2,48 секунды сигнала и выделяет изменения, характерные для слогового и фразового ритма речи.
Такое ограничение работает как предпочтение в пользу гладких временных фильтров. Оно сокращает пространство возможных ядер, но не превращает фильтры в неизменяемые: каждый канал получает собственную линейную комбинацию заготовок.
Авторы также изменили выходной затвор Gated DeltaNet-2. При стандартной инициализации рекуррентная ветвь начинала обучение почти выключенной, поэтому остальная сеть могла научиться обходиться без неё и надолго застревала на выдаче пустых символов. Сигмоидальный затвор сразу пропускает часть сигнала; вместе с меньшей константой нормализации это устранило остановки в последующих запусках без добавления параметров.
Когда архитектура меняет планы голосового продукта
Контролируемое сравнение провели на LibriSpeech-100. E-Gaborformer и каузальный E-Branchformer получили одинаковую входную обработку и режим обучения; результат оценивали жадным декодированием без внешней языковой модели. К концу обучения модели показали сопоставимую точность, но E-Gaborformer достигал заданного уровня WER до 18% раньше.
Производственный трансдьюсер проверяли на английской и ивритской речи голосовых агентов. С Nemotron 3.5 ASR Streaming его сравнили на внутреннем английском наборе из 24 записей, причём E-Gaborformer обучали именно на таком трафике. Поэтому разрыв нельзя автоматически переносить на другие языки, акустические условия и предметные области.
Одни и те же веса работают в строго каузальном режиме и с упреждением до 480 мс. На проверенных голосовых сообщениях упреждение не изменило точность E-Gaborformer, тогда как для продукта единая модель упрощает поддержку нескольких режимов задержки.
Работа меняет архитектурный выбор там, где система обслуживает много одновременных или длинных звонков: преимущество даёт не чистая рекуррентная сеть, а сочетание фиксированного состояния с небольшим числом слоёв локального внимания. Если основное ограничение продукта связано с качеством на коротких запросах, результаты пока служат ориентиром для собственного теста, а не готовым основанием для замены кодировщика. В работе измерены WER и размер состояния, но не задержка появления распознанных символов в полном рабочем контуре.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
