Журнал · Rit.work

FedAvg не скрыл тексты от другого участника обучения

Новая атака восстанавливает до 80,2% чужих предложений из общего обновления модели и показывает, что агрегация градиентов сама по себе не защищает данные.

Rit.work
Студия разработки
19 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Чужие закрытые тексты можно точно восстановить при совместном обучении модели, даже если участники не передают друг другу исходные данные. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, атака вернула до 80,2% предложений без ложных совпадений. Поэтому агрегацию обновлений в FedAvg нельзя считать самостоятельной защитой данных.

При федеративном обучении каждый участник работает со своими текстами локально, а сервер усредняет градиенты — числовые сигналы, по которым модель обновляет веса. Атакующий участвует в обучении честно, но анализирует общее обновление: зная собственный вклад, он выделяет средний градиент остальных клиентов.

Атака сначала составляет набор возможных токенов и собирает из них предложения. Затем она сверяет градиент каждого кандидата с общим обновлением. Точно совпавшие предложения вычитаются из смеси, после чего очищенный остаток проходит тот же цикл снова. Такое последовательное вычитание дало в 1,96 раза больше восстановленных предложений, чем первый проход.

Метод сработал даже тогда, когда в общем обновлении было в четыре раза больше токенов, чем составляет размер внутреннего представления модели. В этом режиме DAGER, FILM и SOMP не восстановили ни одного предложения точно. У принятых атакой предложений точность составила 100%: каждое действительно присутствовало в обучающих данных, хотя часть исходного набора оставалась нераскрытой.

Проверки охватили Pythia-160M, Pythia-410M и GPT-J-6B, а также тексты SST-2, Enron и PubMed. Полная версия атаки рассчитана на модели с параллельными остаточными связями; сокращённый вариант работал с GPT-2, но давал менее точный результат. В одном из основных опытов добавление любого проверенного ненулевого гауссовского шума снизило число точных восстановлений со 100 до нуля, тогда как ограничение градиента его не изменило.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу