Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Из обновления модели после нескольких локальных шагов научились точнее восстанавливать приватные изображения клиента федеративного обучения. Agnivo Ghosh и Saumik Bhattacharya представили PI-SME: при 250 шагах она опередила лучший из сравниваемых методов примерно на 3 дБ по пиковому отношению сигнал/шум (PSNR), хотя препринт не рецензирован и числа получили сами авторы. Обмен обновлениями вместо исходных данных оказался менее надёжной границей приватности для длинного локального обучения.
В FedAvg клиент несколько раз обновляет модель и отправляет серверу только итоговые веса. Сервер видит начало и конец траектории обучения, но не промежуточные состояния. Предыдущая атака NL-SME подбирала кривую между двумя точками, однако вычисляла градиент лишь в одном месте; PI-SME усредняет градиенты в семи точках обучаемой кривой Безье по квадратурной формуле Гаусса — Лежандра. Каждый дополнительный узел требует ещё одного обратного прохода по модели.
Преимущество росло там, где один градиент хуже описывал накопленное обновление. На CIFAR-100 разрыв с NL-SME увеличился до 4,2 дБ, когда пакет содержал изображения лишь десяти классов. Дополнительные итерации не устранили разницу: NL-SME точнее подгоняла внутреннюю функцию потерь, но не улучшала восстановленные изображения.
Метод проверяли на CIFAR-100 и FEMNIST с небольшими свёрточными сетями, двумя длинами локальной траектории и пакетами с ограниченным набором классов. PI-SME сравнили с SME, NL-SME, IG, GI-NAS и DGGI; она показала лучший результат по всем использованным метрикам восстановления. Модель угроз предполагает сервер, которому доступно обновление отдельного клиента, поэтому результат прежде всего касается систем без защиты, скрывающей индивидуальные обновления при агрегации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
