Линейная проба не доказывает, что LLM использует найденную форму

Геометрическая форма в активациях LLM чаще принадлежит не исследуемому арифметическому понятию, а связанному с ним. В работе Carnegie Mellon University, IIT Jodhpur и IIT Roorkee, которая не прошла рецензирование и содержит числа, полученные самими авторами, 81% проверенных форм оказались унаследованными от связанных понятий. Поэтому одной точности линейной пробы недостаточно, чтобы считать найденную структуру частью вычисления модели.

Линейная проба — простой классификатор, который пытается извлечь понятие из внутренних активаций модели. Предложенная схема разделяет её результат на четыре вопроса: можно ли извлечь понятие, какую форму образуют его значения, принадлежит ли форма именно ему и влияет ли она на ответ. Для последней проверки исследователи целенаправленно меняют направления активаций, соответствующие форме, и смотрят, изменится ли результат модели.

Почти все арифметические понятия удалось извлечь, но их направления в активациях часто пересекались. В сравнениях с убедительными свидетельствами лучшей формой всегда становилась лента — спираль с меняющимся радиусом — или тор. Все четыре проверки прошли только 46 из 1330 сочетаний модели, задачи, слоя, понятия и способа подготовки активаций. При этом направления самой формы сохраняли около 61% эффекта полной пробы, используя не более пяти измерений вместо медианных девяти.

Схему проверяли на базовых GPT-J 6B, Llama 3.1 8B и Pythia 6.9B при сложении и умножении двузначных чисел. Активации брали только в позиции последнего знака равенства и только для примеров, на которые модель ответила правильно. Результат относится к геометрии в точке формирования ответа, а не ко всей цепочке вычислений. Для исследований интерпретируемости практический вывод прямой: отчёт о пробе стоит дополнять проверкой происхождения структуры и вмешательством в неё.

Источники

• Linear Probes to Bayesian Manifolds: Geometry of Arithmetic in Large Language Models