Журнал · Rit.work

Как декодировать набор текста по мышечным сигналам без окон и задержки

Новый декодер объединяет непрерывную обработку мышечных сигналов с моделью поведения при наборе и снижает ошибку на пользователях, которых не видел при обучении.

Rit.work
Студия разработки
17 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Набор текста по мышечным сигналам с запястий научились декодировать непрерывно, без ожидания будущих данных и сброса контекста между окнами. В нерецензированном препринте, где все числа получили сами авторы, относительная ошибка снизилась на 5,4%, а модель использовала в 6,7 раза меньше параметров, чем предыдущая лучшая система. Для продукта это меняет базовую архитектуру: сигнал нужно читать как поток, а опечатки и исправления — считать частью набора, а не шумом.

Декодер хранит состояние всей сессии

Поверхностная электромиография (sEMG) измеряет электрическую активность мышц через электроды на коже. Два браслета записывают движения мышц запястий, а модель должна восстановить последовательность клавиш, включая пробел, Shift, Enter и Backspace.

Предыдущие системы делили запись на короткие окна или видели только небольшой фрагмент вокруг текущего момента. На границе окна модель теряла всё, что успела узнать о пользователе и набранной фразе. Некоторые декодеры также использовали будущий участок сигнала, поэтому хорошая итоговая точность не означала, что символ можно показать сразу после нажатия.

Новый энкодер построен на модели пространства состояний. Она обновляет скрытое состояние после каждого кадра сигнала и переносит его до конца сессии. Стоимость обработки одного следующего кадра не растёт вместе с длиной записи, а решение зависит только от уже полученных данных.

Перед энкодером сигнал каждого электрода превращается в спектрограмму, частоты объединяются в широкие диапазоны, а статистика для нормализации накапливается только по прошлым кадрам. Энкодер после каждого кадра выдаёт вероятности клавиш и специального пустого события — оно означает, что в этот момент ничего не нажали.

Для обучения используют временную классификацию с выравниванием. Она не требует заранее связывать каждую клавишу с точным кадром сигнала: модель суммирует допустимые варианты расположения нажатий во времени, удаляет пустые события и объединяет повторяющиеся метки.

Языковую модель обучили на действиях, а не на готовом тексте

Обычный текстовый корпус не содержит процесса набора. В нём остаётся исправленное слово, но исчезают ошибочная буква, задержка перед исправлением и серия Backspace. Языковая модель, обученная только на чистой прозе, может подсказать продолжение слова, но не умеет предсказывать действия человека при ошибке.

Авторы переписали WikiText-103 в последовательности клавиш. Вероятности опечаток, сочетания перепутанных клавиш, время обнаружения ошибки и длину исправления они настроили по реальным журналам набора Aalto. В результате корпус содержит строчные буквы, переносы строк, неисправленные ошибки и удаления, после которых человек вводит правильный вариант.

На этом корпусе обучается авторегрессионная модель: по уже набранным клавишам она предсказывает следующую. Текст из emg2qwerty ей не показывали, поэтому она не могла запомнить тестовые подсказки из целевого набора данных.

Во время работы лучевой поиск по префиксам объединяет два источника. Энкодер оценивает, какая клавиша соответствует мышечному сигналу, а модель набора — насколько эта клавиша правдоподобна после предыдущих действий. Поиск хранит несколько наиболее вероятных последовательностей и обновляет их при каждом новом кадре.

Планы стоит менять командам, которым нужен живой интерфейс

Систему проверяли на emg2qwerty: записи получены с двух браслетов, пока участники копировали слова и фразы из Wikipedia. Финальный тест включал 16 полных сессий от 8 пользователей, которых не было в обучающей части. Целевой последовательностью служил журнал клавиш, поэтому исправленная опечатка учитывалась как ошибочная буква, Backspace и новый ввод.

Ошибка по символам составила 25,13% против 30,5% у предыдущего лучшего результата. Если подключить новую модель набора к прежнему оконному энкодеру, ошибка падает до 26,77%. Значит, основную прибавку даёт понимание набора, но непрерывное состояние сигнала добавляет ещё один измеримый выигрыш.

Для команды, которая проектирует ввод с носимого устройства, работа предлагает практическое разделение системы. Потоковый энкодер должен работать причинно и хранить компактное состояние сессии, а отдельная модель — описывать последовательность действий пользователя. Исправления нельзя удалять при подготовке данных: они помогают распознать следующие клавиши.

Работа пока подтверждает качество только офлайн на записях людей, которые перепечатывали заданный текст. Пользовательскую задержку, поведение при свободном наборе и удобство для целевых групп в ней не измеряли. Сам декодер при этом уже соблюдает главное техническое условие живого интерфейса: ни одно решение не использует будущий сигнал.

Такой прототип также требует локальной обработки. Мышечный декодер восстанавливает все нажатия, включая текст, который человек удалил и не собирался отправлять. Перенос распознавания на сервер превращает телеметрию носимого устройства в журнал потенциально чувствительного ввода.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу