Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
При частичном участии клиентов защита федеративного обучения может незаметно потерять математические гарантии и довести модель до случайных 10% точности на CIFAR-10. Это показала работа о SWB-DM, хотя препринт не рецензирован и все числа получили сами авторы. Для архитектуры сервера вывод практический: долю атакующих недостаточно оценивать по всей сети, если в каждом раунде приходит малая случайная группа.
В федеративном обучении сервер строит общую модель из обновлений клиентов, не собирая их исходные данные. SWB-DM хранит последнее обновление каждого клиента и агрегирует весь кеш, а не только текущих участников. Внутри SWB сортирует случайно преобразованные фрагменты обновлений, отбрасывает крайние значения и вычисляет центр оставшегося распределения по метрике Wasserstein.
Эксперименты показали разные причины отказа известных методов. При двух участниках покоординатная медиана стабильно выбирала меньшее значение и под атакой IPM застревала на случайном ответе; Krum однажды выбрал вредоносное обновление, после чего 545 066 параметров стали NaN. Bulyan работал до тех пор, пока размер группы удовлетворял его формальному условию, а затем сразу падал до уровня случайного выбора.
Основная проверка охватила 448 конфигураций CIFAR-10 с неравномерно распределёнными данными, несколькими долями участия и атаками, включая ALIE и IPM. SWB-DM сравнивали с FedAvg, покоординатной медианой, Krum, Bulyan, FLTrust и SWB; дополнительные прогоны сделали на CIFAR-100, FEMNIST и сети из 500 клиентов. Поэтому результаты описывают компактную свёрточную модель и заданные сценарии атак, а не произвольное федеративное обучение.
Кеш нельзя считать бесплатной победой: при увеличенном бюджете раундов SWB-DM прибавил на CIFAR-10 в среднем 13,1 процентного пункта против максимум 7,9 у остальных методов, то есть ему требовался более долгий прогрев. На масштабе 500 клиентов вариант с обычной медианой в кеше достиг 20,61%, а SWB-DM — 17,16%. Восстановление координат через медоид остаётся эвристикой без формальной гарантии, поэтому метод пока полезнее как указание на архитектурную проблему, чем как готовая замена проверенной агрегации.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
