Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Transformer можно дать более широкий сквозной канал для состояния, не расширяя вычисления внутри каждого слоя. В препринте Ziteng Wang и соавторов, который не прошёл рецензирование и где все числа получили сами авторы, архитектура HiRes стабильно обошла обычное остаточное сложение на моделях разного размера и глубины. Для команд, которые обучают собственные модели, ширина остаточного пути становится отдельным параметром масштабирования.
Два уровня остаточного пути вместо одного
Остаточная связь переносит вход слоя дальше по сети и складывает его с результатом преобразования. В обычном Transformer этот сквозной поток имеет ту же ширину, что и вычисления внутри слоя: расширение состояния одновременно расширяет матрицы и увеличивает стоимость каждого слоя.
HiRes разрывает эту связь. Архитектура объединяет несколько стандартных слоёв в блоки. Внутри блока слои работают с шириной d, а между блоками проходит более широкое состояние размерности D. Поэтому сеть может переносить через глубину больше признаков, не увеличивая ширину всех внутренних преобразований.
Внутри блока сохраняется схема, при которой вход нормализуют до преобразования. Во внешнем остаточном пути нормализация стоит после сложения. На границах блоков обучаемые проекции переводят данные между узким внутренним и широким внешним пространством: одна проекция читает состояние для очередного блока, другая записывает результат обратно.
Отдельные слои Transformer при этом не меняются. HiRes добавляет только плотные проекции и нормализации, поэтому архитектуре не нужны специальные GPU-ядра или изменения вычислительной инфраструктуры. Место вмешательства ограничено границами блоков, а не операциями внимания и полносвязными преобразованиями внутри каждого слоя.
Это не бесплатное расширение: дополнительные проекции тоже требуют вычислений и памяти. Разница в том, что команда может увеличить ширину состояния отдельно и проверить, окупает ли результат расходы на границах блоков, вместо того чтобы расширять каждый слой целиком.
Широкое состояние лучше использовало вычислительный бюджет
Подгонка законов масштабирования показала улучшение эффективности числа операций с плавающей точкой (FLOPs) в 1,30 раза. Иными словами, в исследованных режимах HiRes лучше превращал вычислительный бюджет в снижение функции потерь, чем обычное остаточное сложение.
На предварительном обучении OLMoE-1B-7B на 500 млрд токенов функция потерь оказалась ниже на 0,0208, а точность на последующих задачах выросла на 1,14 процентного пункта. Второй показатель отражает не качество продолжения обучения само по себе, а то, насколько полученная модель справилась с задачами после предварительного обучения.
HiRes также сравнили с VWN, mHC и AttnRes — другими способами расширить остаточный путь. Архитектура показала сопоставимое качество, но потребовала меньше памяти для промежуточных активаций и меньше обмена данными. Точных величин этого выигрыша в доступном описании нет.
Проверка охватывала модели разных размеров и глубины, а отдельно описанный крупный эксперимент провели на семействе OLMoE. Поскольку материал сделан по абстракту, а не по полному тексту, точную методику экспериментов, состав последующих задач и порядок настройки вариантов восстановить нельзя.
Когда HiRes стоит добавить в план разработки
Работа меняет планы прежде всего тех команд, которые проектируют и предварительно обучают собственный Transformer. При выборе ширины и глубины теперь имеет смысл добавить третий параметр: ширину состояния между блоками. HiRes позволяет проверить её отдельно, не меняя устройство каждого слоя.
Практичный следующий шаг — включить HiRes как отдельную ветку архитектурного эксперимента и сравнить её с базовой моделью при одинаковом вычислительном бюджете. Проверять нужно не только функцию потерь, но и фактическую память, скорость обучения и обмен данными: абстракт обещает преимущество над другими способами расширения, но не даёт чисел, по которым можно заранее рассчитать инфраструктуру.
Для продукта, который использует готовую модель через API, работа ничего не меняет: HiRes относится к устройству и обучению самой модели. Она также не требует немедленно заменять обычные остаточные связи. Результаты пока показывают направление для архитектурного поиска, а не универсальное правило для любого Transformer.
Главная инженерная идея HiRes состоит не в новом типе слоя, а в новом разделении бюджета. Вычислительная ширина отвечает за стоимость преобразований внутри блока, а остаточная ширина — за объём состояния, которое сеть переносит через глубину. Если дальнейшие проверки подтвердят результат, эти параметры больше не придётся масштабировать вместе.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
