Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Формальная модель объяснила, когда механизм внимания переносит выученный выбор позиции с короткой последовательности на длинную. В контролируемом режиме показатель αL без обучения точно разделил удачные и неудачные пары задачи и позиционного кодирования: AUC составила 1,0; поскольку препринт не рецензирован, эти числа получили сами авторы. Для выбора архитектуры вывод узкий: относительное кодирование подходит для постоянного смещения, но само по себе не решает задачи, где смещение растёт вместе с длиной.
Авторы свели трансформер к одной голове внимания, которая использует только позиции токенов. Они сначала подбирают ядро внимания на короткой последовательности, затем без переобучения вычисляют его на более длинной сетке. Показатель αL принимает значения от 0 до 1 и показывает, для какой доли новых позиций голова по-прежнему выбирает правильный токен.
Теория разделяет позиционные кодирования по тому, что они фиксируют. Относительные схемы, включая RoPE, переносят правило «смотреть на токен перед текущим» или другое постоянное смещение. Но копирование половины последовательности и разворот требуют смещения, которое растёт с длиной, поэтому одна позиционная голова их не переносит. Абсолютные схемы сохраняют привязку к конкретной позиции, однако обучение на короткой сетке не определяет поведение обучаемого кодирования на новых позициях.
Проверка охватила 2625 замеров обученных моделей. В режиме с одним слоем и одной головой αL совпал с разделением на обобщающие и необобщающие пары, а ранговая корреляция с качеством достигла 0,90. При добавлении голов и слоёв связь ослабла: модель могла найти нужный токен по содержимому, даже когда позиционный канал давал низкий результат.
Граница работы проходит по позиционному каналу. Теория помогает заранее отсеивать неподходящее кодирование для задач с фиксированным относительным смещением или абсолютной позицией, но не заменяет проверку полноценной модели. Сложение, сортировка и другие задачи, где ответ зависит от содержимого токенов, не покрываются основным доказательством.
Источники
Иллюстрация: рисунок из статьи «A Positional Realizability Theory of Length Generalization in Single-Head Attention», Jiasong Han, Yunkai Chai, Jintao Wang, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
