Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для запуска свёрточных нейросетей на краю сети удалось обойтись без отдельного вычислительного ускорителя. Команда Duke University и MIT получила расход до 0,72 фемтоджоуля на операцию умножения с накоплением, хотя препринт не проходил рецензирование, а все числа получили сами авторы. Подход меняет архитектуру устройства: веса хранит и передаёт центральная радиостанция, а локальный радиотракт выполняет основную часть вычислений.
Как частотный смеситель превращается в вычислитель
RF-CNN использует частотный смеситель, который уже входит в радиотракт смартфона, датчика или другого беспроводного устройства. Обычно смеситель переносит сигнал между диапазонами, перемножая две волны во времени. В частотной области такое перемножение даёт корреляцию — ту же базовую операцию, которую выполняет свёрточный слой.
Входные данные и веса кодируют амплитудами и фазами набора частотных тонов. Вход формирует само устройство, а веса передаёт центральное радио, например базовая станция или точка доступа. Смеситель принимает оба сигнала и выдаёт спектр, в котором уже записан результат свёртки.
Главная инженерная часть работы — схема размещения многомерных данных на одномерном наборе тонов. Строки изображения разделяют пустыми участками, чтобы смеситель не складывал соседние строки. Каналы располагают в согласованных частотных полосах: их результаты попадают на одни выходные частоты и суммируются физически, без отдельных цифровых сложений.
Одно смешивание обрабатывает все позиции ядра и все входные каналы для одного выходного канала. Для следующего выходного канала устройство принимает другой набор весов и повторяет операцию. Между слоями результат оцифровывают, применяют остальные операции сети и снова кодируют в радиосигнал.
Где получился выигрыш и что именно проверяли
Расход энергии посчитан со стороны конечного устройства. В него вошли подготовка сигнала, цифро-аналоговое и аналого-цифровое преобразование, а также чтение результата. Энергию центральной станции на передачу весов в расчёт не включили, а работу радиотракта сочли уже оплаченной связью. Поэтому показатель нельзя сравнивать с полным энергопотреблением распределённой системы: это предельная стоимость вычисления на клиентском устройстве.
Систему проверяли на стенде с программно-определяемыми радиомодулями USRP X310 и пассивным смесителем ZEM-4300+. Эксперименты охватывали распознавание типов радиосигнала, классификацию SVHN и CIFAR-10, а также генерацию изображений на MNIST, FMNIST и CelebA.
На CIFAR-10 радиочастотное выполнение уступило цифровой версии полной точности на 2,2 процентного пункта. Сети достигали девяти слоёв, а крупнейшая генеративная модель содержала 26,4 млн параметров. Ошибка аналоговых операций не разрушила результат при последовательном прохождении свёрточных слоёв.
Проверка всё же не была полностью аналоговой от входа до выхода. В задачах DeepSig и CelebA по одному свёрточному слою выполнили цифровым способом, поскольку радиочастотный результат этого слоя давал слишком большую ошибку. Остальные свёртки проходили через экспериментальный тракт.
Когда RF-CNN меняет архитектурный план
Работа предлагает не замену GPU в любом периферийном продукте, а другую границу между устройством и сетью. Клиент хранит входные данные локально, но зависит от инфраструктуры, которая передаёт веса с достаточной мощностью и синхронизацией. Такая схема подходит прежде всего устройствам, которые уже постоянно подключены к управляемой радиосети.
Для автономной камеры, дрона без стабильного канала или устройства, которое должно работать с локальной копией модели, преимущество уменьшается. Весам нужен радиоканал, а промежуточные результаты всё равно проходят цифровое преобразование. Энергия не исчезает, а частично переносится с клиента на сетевую инфраструктуру.
RF-CNN также привязан к свёрточной структуре. Выигрыш возникает потому, что физическая операция смесителя совпадает со свёрткой и сразу суммирует входные каналы. Для архитектур, где основную стоимость создают другие операции, из этой работы нельзя напрямую вывести такой же эффект.
Командам, которые проектируют собственное беспроводное устройство и контролируют базовую станцию или точку доступа, стоит учитывать RF-CNN как вариант совместного проектирования связи и вычислений. Но текущий результат подтверждён на лабораторном радиостенде, а не на серийном радиочипе. Ближайший практический шаг — измерить весь тракт целиком: передачу весов, преобразования между слоями, задержку и нагрузку на центральное радио в целевом сценарии.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
