Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Нейросеть может разделять функции, даже если отдельные нейроны участвуют сразу в нескольких из них. В работе UC San Diego, которая не прошла рецензирование и приводит замеры самих авторов, линейное разложение выявило у сетей с активацией tanh индекс двойной диссоциации 0,47, тогда как анализ отдельных нейронов дал 0,00. Поэтому поиск «нейрона функции» способен ошибочно признать модель немодульной.
Авторы описали три вложенных уровня модульности. На первом разные вычисления занимают разные нейроны. На втором поворот пространства представлений разделяет их на ортогональные подпространства. На третьем это делает обратимое линейное преобразование с ограничением, которое не даёт ему чрезмерно искажать пространство.
Разделение проверяли через вмешательство в работу сети. Исследователи обнуляли одно подпространство и смотрели, ухудшилась ли связанная с ним функция при сохранении другой; затем повторяли опыт в обратную сторону. Такая двойная диссоциация показывает функциональное разделение, а не просто различие статистических признаков.
Метод испытали в трёх областях: на рекуррентных сетях для нескольких когнитивных задач, моделях компьютерного зрения и языковых моделях. В рекуррентных сетях, обученных на 11 задачах, подпространства разделили вычисления, которые не удавалось разнести по нейронам. В зрительных моделях разошлись содержание и стиль, в языковых — синтаксис и смысл; качество этих разложений проверяли поиском ближайших представлений на отложенных данных. Полученные подпространства также по-разному соответствовали данным об активности зрительной и языковой коры.
Для инструментов интерпретируемости это меняет единицу анализа. Если проверка заканчивается на отдельных нейронах, отсутствие специализации ещё не означает, что функции нельзя разделить. Практический следующий шаг — искать линейные подпространства и подтверждать их роль вмешательством, а не только измерять, на какие признаки реагируют нейроны.
Источники
Иллюстрация: рисунок из статьи «Neural networks are more modular than single neurons suggest», Shreya Saha, Benjamin Bergen, Meenakshi Khosla, CC BY-SA 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
