Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Квантованный механизм внимания можно ускорить без переобучения модели и удержать добавочную ошибку ниже ошибки самого квантования. В препринте AMD, который не прошёл рецензирование и содержит замеры самих авторов, ядро MXFP4 работало в 3,2 раза быстрее варианта BF16. Гибрид из MXFP6 и MXFP4 ускорил генерацию видео в 2,05 раза, сохранив оценку качества.
Обычный FlashAttention чередует матричные умножения с softmax, который нормализует оценки внимания. При снижении точности матричные блоки GPU ускоряются, а вычисление максимума, экспоненты и суммы остаётся на векторных блоках. Поэтому softmax начинает задерживать весь конвейер.
Fused-Softmax фиксирует максимум строки после первого блока данных и пересматривает его только при риске переполнения. Экспоненту заменяет линейное приближение, встроенное в матричное умножение, а сумму строки тоже считает через матричные блоки. На векторном пути остаются поиск максимума и два преобразования формата.
Откат при переполнении срабатывал в среднем на 0,063% блоков. На самых сложных входах отключение отката приводило к NaN, а включение не давало измеримой потери скорости. Дополнительная ошибка Fused-Softmax оставалась ниже ошибки, которую уже вносило квантование операндов.
Проверки охватили AMD Instinct MI355X с архитектурой CDNA 4, модель Wan2.2-T2V-A14B и 248 запросов VBench; поведение качества также проверили на HunyuanVideo и MiniMax-H3. MXFP8 и MXFP6 оставались близки к BF16, но чистый MXFP4 менял детали сцены. Гибрид применял MXFP6 на краях процесса генерации и MXFP4 между ними, возвращая качество при почти максимальном ускорении. Реализация относится к CDNA 4 и уже входит в открытую библиотеку AITER как точка входа mha_v4.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
