Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Случайную выборку в распределённом DP-SGD можно сохранить даже тогда, когда сервер видит число сообщений и обрезает переполненные пакеты. В работе Apple добавочная потеря приватности была ниже 1%, когда среднее число фиктивных элементов сравнялось с обычным разбросом размера пакета, хотя препринт не прошёл рецензирование и числа получили сами авторы. Это даёт альтернативу переходу на фиксированную выборку, но добавляет служебный трафик и требует нового расчёта приватности.
Почему видимый размер пакета ломает расчёт приватности
Стохастический градиентный спуск с дифференциальной приватностью (DP-SGD) обучает модель на случайных пакетах и добавляет шум к результату каждого шага. Пользователь попадает лишь в часть пакетов, поэтому его данные влияют не на весь процесс. За счёт этого случайная выборка усиливает приватность и позволяет добавить меньше шума.
Схемы с выборкой Пуассона и случайным распределением создают пакеты переменного размера. Стандартный расчёт предполагает, что наблюдатель не знает этот размер. В распределённой системе сервер часто может просто посчитать сообщения, даже если их содержимое скрывает защищённое агрегирование.
Ограничение размера пакета создаёт отдельную проблему. Если заполненный пакет обрезают, то после удаления одного пользователя его место может занять запись другого. Результат шага тогда меняется на два градиента вместо одного, чувствительность удваивается, а для прежней гарантии приватности требуется больше шума.
Можно держать средний пакет заметно ниже предела, чтобы переполнение происходило реже. Но тогда GPU и сеть используются хуже: система резервирует ёмкость, которую большую часть времени не заполняет реальными данными.
Как фиктивные элементы сохраняют единичную чувствительность
Предложенный механизм добавляет в каждый пакет случайное число фиктивных элементов. Каждый из них представляет нулевой вектор и не меняет сумму реальных градиентов. Сервер видит только общее число реальных и фиктивных сообщений, поэтому исходный размер пакета остаётся скрытым.
Число фиктивных элементов выбирают из заранее заданного распределения, которое не зависит от данных. Если общий пакет превышает предел, система оставляет случайное подмножество нужного размера. Если элементов не хватает, она дополняет пакет нулевыми значениями.
После раскрытия замаскированного размера соседние наборы данных различаются одной позицией: в одном пакете находится реальный элемент, в другом — нулевой. Обрезка больше не заставляет подставлять запись другого пользователя, поэтому чувствительность остаётся единичной.
В распределённой реализации пользователи могут сами создавать фиктивные сообщения независимыми случайными решениями. При анонимном агрегировании сервер не отличит их от реальных, а каждое сообщение сможет нести свою долю шума. Такой вариант сочетается с защищённым агрегированием без доверенного центрального координатора.
Считать приватность замаскированного размера отдельно нельзя: размер и сумма градиентов зависят от одной случайной выборки. Работа объединяет их в один шаг и сводит анализ к паре распределений, которую можно передать существующему численному средству расчёта приватности. Подход охватывает выборку Пуассона и случайное распределение пользователей по шагам.
Когда работа меняет планы внедрения
Численная проверка охватила два сценария многоэпохового обучения с гауссовским шумом. Сравнивались несколько распределений числа фиктивных элементов, включая биномиальное и отрицательно-биномиальное. При настроенном отрицательно-биномиальном распределении добавочная потеря приватности опускалась ниже 1%, когда среднее число фиктивных элементов достигало стандартного отклонения размера пакета.
При обрезке после маскировки расчёт давал меньшую потерю приватности, чем специальный анализ обычной обрезки при той же ожидаемой доле реальных элементов. Механизм также позволяет обрезать пакеты при случайном распределении, тогда как сравниваемый метод рассчитан на выборку Пуассона.
Для централизованного обучения, где доверенный сервер уже скрывает размеры пакетов, архитектура почти не меняется. Практический эффект возникает в федеративных и распределённых системах, где число сообщений видно агрегатору или сетевому наблюдателю, а память задаёт жёсткий предел пакета.
Главная цена — дополнительные сообщения. При независимой генерации фиктивных элементов устройство может отправлять их даже в раундах, где не передаёт данные. Вариант, где фиктивные элементы создают только участники текущего пакета, сокращает эту нагрузку, но повышает цену приватности на малых пакетах.
Есть важная граница гарантии: распределённый вариант рассматривает удаление данных пользователя при условии, что его устройство продолжает выполнять протокол фиктивных сообщений. Полный уход устройства меняет поток сообщений во всех пакетах и требует отдельного расчёта.
Командам с наблюдаемым трафиком стоит пересмотреть выбор между переменными и фиксированными пакетами. Маскировка позволяет оставить усиление приватности случайной выборкой и приблизить среднюю загрузку к пределу, но в план ёмкости нужно включить фиктивные сообщения, а в аудит — совместный расчёт размера пакета и результата шага.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
