Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Нейронные записи научились переводить в общее представление, которое работает в новых сеансах с другим набором нейронов. Sangyoon Bae и Jiook Cha показали, что TWS распознаёт движение там, где модель с токенами отдельных нейронов отвечает случайно; препринт не рецензирован, а все числа получили сами авторы. Для систем, которые должны работать между сеансами и животными, это предлагает сменить не модель, а единицу входных данных.
Почему отдельный нейрон становится плохим токеном
Внеклеточная электрофизиология не записывает один и тот же набор нейронов постоянно. Между установками электрода меняется его положение, качество сигнала влияет на выделение клеток, а алгоритм обработки импульсов может разделить одинаковую запись по-разному.
Модели вроде POYO присваивают каждому нейрону и сеансу собственный идентификатор. Токен здесь — элемент входной последовательности, который несёт активность конкретной клетки. В новом сеансе модель получает целый словарь незнакомых идентификаторов, даже если животное выполняет прежнюю задачу.
Проблема не сводится к слабому предварительному обучению. POYO заранее видел тестовые сеансы IBL и получал вспомогательные метки движения, скорости колеса и облизывания, но не смог перенести декодирование между ними. Модель запомнила привязку признаков к конкретным нейронам, а эта привязка исчезла вместе с составом записанной популяции.
TWS ищет устойчивую единицу уровнем выше. Совместная активность нейронов образует низкомерную структуру: множество клеток меняет состояние согласованно, а поведенческие события вроде появления стимула и начала движения разделяют разные режимы этой активности. Такая структура может сохраняться, хотя конкретные записанные клетки меняются.
Как события поведения задают общий словарь
Tokenization with States (TWS) делит каждое испытание на три режима по времени известных событий задачи. Границы получают обучаемые сдвиги, потому что состояние популяции меняется не строго в момент стимула или движения, а с задержкой.
Внутри каждого режима модель усредняет активность каждой клетки, независимо кодирует полученные значения и собирает их механизмом внимания без информации о порядке нейронов. Перестановка клеток поэтому не меняет результат. Из трёх режимов получаются шесть токенов, которые описывают геометрию активности популяции, но не содержат идентификатор нейрона или сеанса.
Новый сеанс всё же участвует в подготовке входа: активность каждой клетки нормализуют по немаркированным испытаниям этого сеанса. Однако TWS не обучает для него отдельный слой, преобразование выравнивания или набор идентификаторов. Поверх общих токенов можно поставить свёрточную основу, а для новой цели обучить простой линейный классификатор.
События служат не только удобными временными метками. При фиксированных, случайных или перемешанных границах TWS сохранял часть сигнала, но распознавал движение хуже. Отдельный контроль использовал только время события без нейронной записи: он позволил проверить, не извлекает ли модель ответ непосредственно из положения границы.
Основной тест охватывал 243 сеанса IBL, из которых 53 оставили для проверки, и использовал до 128 клеток на сеанс. Перенос также проверяли на записях других мышей и макак, с Neuropixels и Utah arrays. Для непрерывных целей метки стандартизовали внутри тестового сеанса, поэтому этот протокол предполагает доступ к их статистике.
Когда TWS меняет архитектурный план
На новых сеансах IBL обученный с нуля TWS получил коэффициент корреляции Мэтьюса 0,565 для движения. Эта метрика учитывает ошибки по обоим классам, а отметка 0 соответствует случайному ответу; POYO остался на ней. Для времени реакции TWS достиг R² 0,402, где единица означает идеальное непрерывное предсказание.
Перенос не ограничился той же лабораторией. Замороженное представление, обученное на мышах, применили к записям макак и обучили только линейный классификатор. Для направления движения руки коэффициент корреляции Мэтьюса составил 0,23 против 0,01 у одного времени события, поэтому результат нельзя объяснить только границами режимов.
Работа меняет план команд, которые собирают повторяющиеся испытания с известными моментами стимула, сигнала к действию или начала движения. В такой системе сначала стоит проверить токенизацию общей активности по режимам, а уже затем увеличивать основу модели или объём предварительного обучения. Это также снижает зависимость от постоянного сопоставления клеток между сеансами.
TWS не стал универсальным представлением нейронной записи. Движение и время реакции распределены по популяции и переживают смену записанных клеток, а выбор и блок задачи зависят от конкретных направлений активности и между сеансами остались около случайного уровня. Для целей, связанных с идентичностью отдельных нейронов, или записей без устойчивых событий задачи прежняя архитектура и выравнивание сеансов всё ещё могут быть необходимы.
Источники
Иллюстрация: рисунок из статьи «Neural Data Needs Semantic Tokenization: Behavioral Events as Boundaries of Session-Transferable Tokens», Sangyoon Bae, Jiook Cha, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
