Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Расшифровщик речи Confucius4-R2T2 выдаёт текст по ходу записи и больше не меняет уже переданную часть. Daniel Huang и соавторы описали результат в нерецензированном препринте, где все числа получили сами: потоковая модель приблизилась по качеству к полноконтекстной и обошла сравниваемые открытые модели и коммерческие API. Голосовой агент или переводчик может сразу обрабатывать полученный текст, не отменяя действия после очередной правки расшифровки.
Как полный ответ превратили в последовательность надёжных частей
Обычная полноконтекстная модель видит запись целиком. Если запускать её на растущем фрагменте аудио, она может сначала распознать одно слово, а после следующей порции звука заменить его другим. Для субтитров это выглядит как мерцание, а для агента означает повторный вызов инструмента или другое ошибочное действие.
Confucius4-R2T2 построили на Qwen3-ASR-1.7B. Модель дополнительно обучили на 1 500 часах китайской и английской речи, но оставили без изменений звуковой кодировщик и связующий проектор. Новых слоёв, отдельных голов и масок внимания не добавляли.
Основой разметки стал самый длинный стабильный префикс (Longest Stable Prefix, LSP). Для каждой учебной записи исходную модель запускают на последовательных фрагментах аудио, а затем сравнивают промежуточные ответы с результатом на полной записи. Меткой становится самый длинный из прежних ответов, который целиком совпадает с началом финальной расшифровки.
Важна оговорка «целиком». Если модель выдала правильное начало, но ошиблась в последнем слове, метод не отрезает ошибочный хвост и не засчитывает остальное. Он ждёт более ранний или поздний ответ, который полностью входит в финальный. Поэтому учебная последовательность только растёт и всегда состоит из ответов, которые модель действительно производила.
Когда доступного звука недостаточно, модель выдаёт служебный токен Wait и завершает текущий шаг декодирования. Так решение о времени выдачи отделяется от выбора текста: распознаватель не угадывает продолжение, а ждёт следующую порцию аудио. Будущий звук нужен только для подготовки учебных меток; при работе модель его не видит.
Стабильность почти не отняла качество распознавания
Основной режим обрабатывал аудио фрагментами по 160 мс и удерживал внутри один предварительный токен, не передавая его потребителю сразу. Его сводный показатель ошибки составил 5,76: это лучший результат среди конфигураций, включённых в итоговое сравнение, в том числе коммерческих API.
От полноконтекстного Qwen3-ASR модель отделяли примерно 0,6 процентного пункта ошибки. Удержание предварительного токена снижало число ошибок ценой нескольких десятых секунды дополнительного ожидания; этот параметр можно менять при запуске без повторного обучения.
Проверка охватывала английскую и китайскую речь, включая длинные записи синхронного перевода RealSI, VoxPopuli и Wenet-meeting. Сравнивали полноконтекстный Qwen3-ASR, открытые потоковые модели и несколько обезличенных коммерческих API. Для английского считали долю ошибочных слов, для китайского — долю ошибочных символов.
Обучение использовало только китайский и английский, но преимущество над исходной моделью при том же потоковом режиме сохранилось ещё на 10 языках. Это показывает переносимость способа обучения, хотя практические выводы пока надёжнее всего опираются на подробно разобранные китайские и английские наборы.
Что меняется в архитектуре голосового продукта
Работа меняет планы прежде всего там, где частичная расшифровка служит входом для следующего компонента. Переводчик может продолжать фразу, а агент — готовить ответ или выбирать инструмент, не поддерживая сложный протокол отмены уже обработанных токенов. Стабильный префикс становится контрактом между распознавателем и остальной системой.
Переписывать звуковой кодировщик ради причинного режима не обязательно. Команда может сохранить представления полноконтекстной модели и обучить декодер ждать там, где контекста пока мало. Тот же контрольный файл поддерживает разные размеры порций аудио и объём скрытого предварительного текста, поэтому баланс качества и задержки можно подбирать при эксплуатации.
Цена такого решения — повторная обработка растущего аудиофрагмента двунаправленным кодировщиком. Авторы используют повторное применение кэша, ограничение контекста и остановку декодирования по Wait, но работа измеряет задержку появления текста на временной шкале записи, а не полное время ответа серверной системы. Режим с порциями по 80 мс удерживал среднюю задержку ниже половины секунды в обоих языках, однако ошибался чаще.
Определение конца речи и принудительная выдача оставшегося текста также остаются задачами среды выполнения. Поэтому Confucius4-R2T2 снимает проблему пересмотра уже отданной расшифровки, но не заменяет управление сессией, детектор завершения реплики и замеры на целевом оборудовании.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
