Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель научили классифицировать сигналы мозга и отвечать по ним без дообучения под каждую клиническую задачу. В нерецензированном препринте, где все числа получили сами авторы, METIS опередила лучшие универсальные мультимодальные модели по средней точности более чем на 20,9% и сравнялась с отдельными специализированными моделями или превзошла их. Это позволяет проверять одну общую модель вместо разработки отдельного классификатора для каждого нового набора сигналов.
METIS получает фрагмент сигнала и вопрос на естественном языке, например просьбу определить стадию сна. Универсальный кодировщик превращает сигналы с разным числом каналов и разной длительностью в последовательность токенов, после чего модель совместно обрабатывает их с текстом. Смесь экспертов направляет токены сигналов и языка в разные вычислительные блоки, но сохраняет общее представление задачи.
Без дообучения METIS распознавала стадии сна, эпилептическую активность, болезнь Альцгеймера и несколько психиатрических нарушений. Когда модели давали небольшое число размеченных примеров, её средняя площадь под ROC-кривой была более чем на 16,0% выше, чем у лучшей предобученной альтернативы. Эта метрика показывает, насколько хорошо классификатор разделяет классы при разных порогах решения.
Для предварительного обучения собрали свыше 70 000 часов записей из 20 наборов данных. Проверка охватила сигналы с поверхности головы и внутричерепных электродов; в режиме без дообучения использовали 12 наборов и сравнивали METIS со специализированными архитектурами, предобученными моделями, ChatGPT, Gemini, Grok и DeepSeek. На части задач результат зависел от формулировки вопроса и названий классов, поэтому в прикладной системе шаблоны запросов придётся фиксировать и проверять вместе с моделью.
Источники
Иллюстрация: рисунок из статьи «A Language-Guided Multimodal Foundation Model for Zero-Shot and Multi-Task Brain Signal Analysis», Mingzhi Chen, Yiyu Gui, Guibo Luo и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
