Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Тяжёлый входной блок речевой модели удалось заменить компактным экстрактором, который переносится между несколькими архитектурами. Он требует 3% операций умножения с накоплением исходного CNN и сокращает время обработки более чем на 20%, хотя работа не прошла рецензирование, а числа получили сами авторы. Такой блок позволяет ускорить готовую модель или обучение новой без заметной потери качества.
Локальный экстрактор превращает фрагменты звуковой волны в последовательность признаков, которую затем обрабатывает трансформер. Обычно эту работу выполняет свёрточный блок CNN: параметров в нём немного, но на него приходится около трети вычислений. Авторы заменили его небольшим перцептроном и через дистилляцию научили воспроизводить представления HuBERT, data2vec и WavLM.
В готовых моделях новый блок в основном сохранил результаты исходных CNN на задачах распознавания речи, говорящего, эмоций и других тестах SUPERB и SUPERB-SG. Дистилляция сразу из нескольких моделей не дала устойчивого преимущества перед обучением на одном сильном учителе WavLM Base+. Это упрощает подготовку такого экстрактора для собственной архитектуры.
Экстрактор также перенесли в wav2vec 2.0, который не участвовал в его обучении. После дополнительного предварительного обучения качество немного снизилось на части задач, но большинство различий оказалось в пределах погрешности. При обучении нового wav2vec 2.0 с нуля доля ошибок в распознавании составила 9,7% против 10,1% у варианта с исходным CNN.
Проверка охватывает базовые версии моделей с одинаковым размером входного окна и близкой временной разметкой. Экстрактор обучали на 100 часах речи из LibriSpeech, Libri-Light, GigaSpeech и VoxPopuli, а ускорение измеряли на NVIDIA RTX PRO 5000 Blackwell. Результат поддерживает замену CNN в моделях этого класса, но ещё не показывает, как подход переносится на более крупные модели и другие способы кодирования звука.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
