Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Бинарные и тернарные нейросети научились обучать прямо в дискретных весах, без скрытой полноточной копии параметров. В препринте команды Washington University in St. Louis и University of California, Santa Cruz, который не прошёл рецензирование, все числа получили сами авторы: ΣΔ-Sampler сократил память обучения более чем вдвое относительно стандартного обучения с учётом квантования. Это открывает путь к дообучению на устройстве, если команда готова заменить привычный стек AdamW и доработать низкоуровневые вычислительные ядра.
Как шум отделили от направления обучения
Бинарные веса переключаются между минусом и плюсом, а тернарные добавляют нулевое состояние. Такие модели занимают меньше памяти и могут заменить умножения более простыми операциями, но их трудно обучать: вес нельзя сдвинуть на небольшую величину, как в обычной нейросети.
Распространённый прямой оценщик градиента STE обходит проблему через скрытую полноточную модель. На прямом проходе он использует дискретные веса, а обновления рассчитывает для их непрерывной копии. AdamW дополнительно хранит два накопленных состояния для каждого параметра, поэтому обучение требует гораздо больше памяти, чем последующий запуск модели.
Работа связывает функцию потерь дискретной сети с энергией модели Изинга. У такой поверхности есть плавное направление к хорошему решению, но его перекрывают быстрые колебания от округления весов, случайного состава мини-пакетов и множества конфликтующих взаимодействий между параметрами.
ΣΔ-Sampler накапливает разницу между градиентами и уже выполненными дискретными обновлениями. Затем он случайно выбирает переключения весов с учётом этого накопителя и постепенно снижает температуру отжига. Механизм вытесняет быстрые колебания из той части сигнала, где меняется основное направление обучения.
Оптимизатор не пытается убрать шум или точно найти конфигурацию с минимальной энергией. Он заставляет последовательность дискретных переключений в среднем следовать плавной траектории градиентного спуска. Полноточные веса и накопители AdamW становятся не нужны, хотя сам ΣΔ-Sampler хранит отдельное состояние интегратора.
Дискретные веса сохранили точность на изображениях и языке
Метод проверили сначала на квадратичной задаче двоичной оптимизации с заранее известным минимумом, затем на CIFAR-10, ImageNet, последовательном обучении новым классам и языковых моделях без матричных умножений. В разных опытах его сравнивали с последовательным и параллельным имитационным отжигом, STE и полноточным обучением.
На CIFAR-10 тернарная модель отстала от полноточной по точности на один процентный пункт. На ImageNet тернарная сеть уступила базовой тернарной модели на 0,4 процентного пункта по метрике, которая учитывает верхнюю группу ответов.
В последовательном обучении модель сохраняла качество на прежних задачах после добавления новых классов. На языковых моделях размером до 2,7 млрд параметров ΣΔ-Sampler обошёл STE при одинаковом продолженном предварительном обучении, однако величина разрыва в кратком описании результата не сведена к одной общей метрике.
Эти проверки охватывают разные архитектуры, но не образуют универсального теста оптимизатора. Особенно важна зависимость от устройства сети: в глубоких моделях ΣΔ-Sampler требовал остаточных связей по всей глубине, а дополнительные связи более высокого порядка не улучшили результат.
Планы меняются только для обучения на устройстве
Работа даёт практическое направление командам, которым нужно обновлять модель на датчике, мобильном устройстве или другой системе с жёстким пределом памяти. Если модель уже использует бинарные или тернарные веса, отказ от полноточной копии сокращает разрыв между памятью для запуска и памятью для обучения.
В сравнении со стандартным обучением с учётом квантования ΣΔ-Sampler ускорил обучение примерно на порядок и сократил обмен памятью при обновлении весов на четыре порядка. Эти преимущества относятся именно к дискретному стеку, где базовый метод хранит и обновляет полноточные параметры.
Текущая программная реализация ещё не обгоняет полноточное обучение на обычном GPU: один проход по эпохе потребовал в 1,8 раза больше энергии. Интегратор, сравнение с порогом и маска переключений пока создаются отдельными массивами и обрабатываются отдельными ядрами, поэтому данные несколько раз проходят через память. Объединённое ядро должно убрать часть этих затрат, но работа не показывает готовую реализацию такого варианта.
Для облачного обучения обычных полноточных моделей менять стек рано: экспериментальное преимущество привязано к дискретным весам и специальному способу обновления. Для локального дообучения ограничение другое — придётся заранее выбрать совместимую архитектуру, проверить устойчивость остаточных связей и заложить разработку собственных вычислительных ядер.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
