Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Предобученные модели для электроэнцефалограмм (ЭЭГ) чаще превосходят сильные модели, созданные под одну задачу. В нерецензированном препринте, где числа получили сами авторы, преимущество сохранилось на большинстве проверенных задач. При выборе архитектуры это смещает приоритет с числа параметров на объём данных и совместимость с конфигурацией электродов.
Команда собрала EEG-Arena — открытый стенд с едиными правилами подготовки данных, обучения и оценки. В него вошли универсальные модели, которые сначала учатся выделять повторяющиеся свойства сигналов на большом корпусе, а затем адаптируются к конкретной задаче. Всего исследователи провели более 20 000 запусков и исключали случаи, когда данные предобучения пересекались с проверочным набором.
Пользу предобучения отделили от влияния архитектуры: одну и ту же модель либо запускали с готовыми весами, либо обучали с нуля. Предобученная версия быстрее улучшала результат в начале и лучше работала после полной адаптации. Разрыв становился больше и стабильнее по мере роста доступной разметки — от 2% до полного обучающего набора.
Увеличение самой модели не давало устойчивого выигрыша: большее число параметров не предсказывало качество ни между семействами, ни внутри отдельных семейств. Зато при неизменной архитектуре REVE-base рост корпуса предобучения с 600 до 30 000 часов последовательно улучшал результаты. Для команды продукта это аргумент сначала расширять и очищать корпус сигналов, а не переходить на более крупную сеть.
EEG-Arena охватывает 30 предобученных моделей, 25 моделей с обучением под конкретную задачу и 57 задач из клинических исследований, интерфейсов мозг — компьютер, анализа сна и других направлений. Модели, способные принимать разные наборы электродов, обычно работали лучше моделей с жёсткой схемой каналов. Особенно заметно это там, где сигнал каждого электрода сравнивают с общей опорой, а не с другим электродом.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
