Журнал · Rit.work

Линейное внимание упирается не в математику, а в GPU

Сравнение FlashAttention с ядерными методами показывает: линейная сложность редко ускоряет обучение, а заметный выигрыш остаётся у долгой генерации с жёстким лимитом памяти.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Теоретически более экономный механизм внимания в большинстве проверенных сценариев уступил точному расчёту по скорости и памяти. В нерецензированном препринте, где числа получены самими авторами, команда из Concordia University, Mila, Laval University и University of Tübingen сравнила современные приближённые методы с FlashAttention. Для продуктовых команд вывод прямой: менять точное внимание на линейное по одной лишь оценке сложности пока не стоит.

Почему линейная сложность не гарантирует быстрый расчёт

Обычное внимание сопоставляет каждый токен со всеми остальными. Объём вычислений поэтому растёт как O(N²), где N — длина последовательности. Ядерное внимание (kernelized attention) заменяет точную функцию softmax компактным набором признаков и переставляет операции так, чтобы затраты росли как O(N).

Эта оценка описывает число математических операций, но не то, как GPU их исполняет. Во время обучения причинная модель должна хранить и обновлять отдельное состояние для каждого префикса. Последовательные обновления хуже распараллеливаются и требуют частых обращений к памяти, поэтому теоретически более короткий расчёт может занять больше реального времени.

FlashAttention сохраняет точный softmax и квадратичный объём вычислений, но разбивает работу на блоки. Промежуточная матрица внимания не записывается целиком в медленную память GPU. В результате устройство выполняет больше арифметики, но реже перемещает данные — и часто заканчивает расчёт раньше.

Авторы проверяли это на младших, средних и крупных вариантах ViT и GPT2 на GPU A100. Для моделей компьютерного зрения длина доходила до 9217 токенов, для причинных языковых моделей — до 16K. В одном стенде сравнивали обучение, обычный вывод, предзаполнение (prefill) и пошаговую генерацию, сохраняя одинаковые тип данных, размер пакета и основную модель.

Выигрыш появляется только в узком режиме

При обучении FlashAttention потреблял меньше памяти и работал быстрее ядерных методов на всех проверенных масштабах. На крупнейшем входе ViT разница по памяти составляла примерно 1,4 раза в пользу FlashAttention. В моделях компьютерного зрения порядок не менялся и при выводе: точный метод оставался быстрее и экономнее.

Иная картина возникла при долгой пошаговой генерации. Ядерный метод поддерживает состояние фиксированного размера, тогда как FlashAttention хранит растущий кеш ключей и значений. После генерации 16K токенов приближённые варианты занимали примерно впятеро меньше памяти в зависимости от размера GPT2. При этом FlashAttention всё равно быстрее обрабатывал исходный контекст.

Экономия памяти сама по себе не решает вопрос качества. Hedgehog и DiJiang после переноса поведения точной модели отставали от неё по качеству вплоть до 10 процентных пунктов. Увеличение модели не устранило разрыв.

Чтобы проверить, неизбежна ли потеря, авторы построили LARA++. Метод точнее выбирает признаки для приближения softmax и группирует запросы с ключами перед расчётом. Он восстановил до 99% качества точной модели, но группировка и выбор признаков съели ожидаемый выигрыш: LARA++ оказался самым медленным среди проверенных ядерных вариантов.

Это разделяет две проблемы. Приблизить softmax без заметной потери качества возможно. Сделать такое приближение одновременно быстрее оптимизированного точного расчёта на современном GPU работа не смогла.

Когда команде стоит пересматривать архитектуру

Для обучения трансформера и моделей компьютерного зрения FlashAttention остаётся разумной отправной точкой. Чистая замена softmax на ядерный механизм добавляет риск потери качества, требует переноса поведения исходной модели и не даёт подтверждённого выигрыша по времени или памяти в проверенных условиях.

Пересмотр оправдан для сервисов, которые генерируют очень длинные последовательности и упираются именно в память кеша. Здесь фиксированное состояние линейного внимания меняет экономику развёртывания. Решение всё равно нужно измерять на целевом размере пакета, длине контекста и конкретном GPU: работа показывает преимущество памяти, а не универсальное сокращение задержки.

Гибридные архитектуры выглядят практичнее полной замены. Они считают локальные связи точным вниманием, а дальние — линейным, сохраняя удобную для GPU блочную работу. Однако данное сравнение проверяло чистые ядерные методы, поэтому оно указывает направление, но не доказывает превосходство конкретного гибрида.

Главный критерий выбора теперь не асимптотическая сложность сама по себе. Команде нужны три связанных замера на целевом оборудовании: реальное время, пиковая память и качество продукта. Если точный FlashAttention помещается в доступную память, новая работа не даёт основания заменять его только ради линейной формулы.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу