Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Из одного обновления клиента при федеративном обучении — когда участники передают серверу изменения модели, а не исходные данные — научились восстанавливать обучающие примеры и их метки. Пассивный сервер, который не менял честно обученную сеть, восстановил 94–100% пакетов ImageNet размером до 128 примеров; результат представили Saeed Shariati и Mohsen Alambardar Meybodi, хотя препринт не прошёл рецензирование, а все числа получили сами авторы. Передачу градиентов теперь нельзя считать достаточной границей приватности даже без вмешательства сервера в модель.
Атака использует первый полносвязный слой с ReLU. Если его нейрон сработал только на одном примере, отношение градиентов весов и смещения раскрывает этот пример точно. Затем атака вычитает его вклад из общего градиента: после этого другие нейроны могут остаться связанными только с одним примером, и восстановление продолжается каскадом.
В активном варианте сервер меняет преимущественно смещения первого слоя, чтобы управлять тем, сколько примеров активирует каждый нейрон. Soliton-Free делает это без вспомогательных данных, а Soliton-Data использует один дополнительный пакет. Второй вариант восстановил больше 90% примеров при пакетах из нескольких сотен; метки совпали для всех восстановленных образцов, а корректность атака проверяла без доступа к оригиналам.
Метод проверили на восьми наборах изображений и табличных данных в одном раунде FedSGD. Он рассчитан на классификационные сети, где первым стоит полносвязный слой с ReLU, а модель обучается с перекрёстной энтропией. Поэтому результат напрямую касается не любой архитектуры федеративного обучения, а систем с этой схемой обмена и первым слоем.
При проектировании такой системы градиент стоит считать чувствительным артефактом наравне с исходными данными. Модель угроз должна учитывать и пассивный сервер, и активный сервер, способный незаметно подобрать параметры первого слоя перед отправкой модели клиенту.
Источники
Иллюстрация: рисунок из статьи «Cascading Gradient Inversion via LT-Code Inspired Peeling in Federated Learning», Saeed Shariati, Mohsen Alambardar Meybodi, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
