Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Сырые документы в распределённой системе генерации с поиском по внешним данным (RAG) можно оставить у владельцев и передавать между площадками только их векторные представления. FedRepRAG из работы University of Oxford и National University of Singapore сократил добавляемый к запросу контекст до 398 раз, хотя препринт не проходил рецензирование и числа получили сами авторы. Такая схема меняет границу обмена данными, но не гарантирует, что из переданных векторов нельзя восстановить исходный текст.
Как найденный документ превращается в токен
FedRepRAG предполагает, что участники используют общий поисковый кодировщик и одну замороженную языковую или мультимодальную модель. Каждый участник заранее кодирует свои документы в векторы и хранит рядом локальный поисковый индекс. Исходные документы не покидают площадку.
При запросе клиент вычисляет его вектор и отправляет центральному серверу. Сервер рассылает этот вектор всем участникам, а они ищут ближайшие документы в собственных индексах. В ответ уходят только векторы найденных документов и оценки их сходства с запросом.
Сервер объединяет кандидатов, выбирает наиболее близкие и возвращает их клиенту, который задал вопрос. Там небольшой обучаемый проектор преобразует каждый поисковый вектор в один токен, совместимый со входом генератора. Эти токены добавляются перед исходным запросом, после чего замороженная модель формирует ответ.
Проектор нужен потому, что пространство поисковых векторов не совпадает с пространством токенов генератора. На первом этапе его учат сохранять смысл документа: модель должна восстановить содержание по спроецированному вектору. На втором этапе проектор настраивают на ответы на вопросы с использованием локально найденных материалов.
Оба этапа проходят федеративно. Клиенты обновляют только проектор на своих данных, сервер усредняет его параметры, а поисковый кодировщик и генератор остаются замороженными. Обучающие вопросы, ответы и документы не передаются, но между сторонами всё равно ходят параметры проектора, векторы запросов и найденных материалов.
Сжатие контекста не ухудшило ответы
На задачах с изображениями FedRepRAG обошёл следующую по качеству схему максимум на 14,13%, а на текстовых вопросах — на 5,40%. Один найденный материал занимает один токен вместо исходного фрагмента, поэтому поисковый контекст стал короче в 19–398 раз. Генератору приходится обрабатывать меньше позиций, чем при передаче полного текста.
Метод проверяли на SLAKE-EN, ScienceQA, PubMedQA и KILT-NQ: наборы охватывают медицинские изображения, школьные научные задачи, биомедицинские публикации и открытые вопросы. Эксперименты моделировали федерацию из 10 клиентов с неодинаковым распределением данных. В сравнение вошли ответы без поиска, поиск только по локальному индексу и схемы, которые передают найденный текст целиком.
Отдельные опыты показали, что прибавка сохраняется с замороженными моделями семейств Qwen и Gemma. Результат зависел от качества найденных материалов: нерелевантные представления помогали заметно хуже. Проектор не заменяет поиск и не исправляет ошибки маршрутизации, а только даёт генератору компактный способ прочитать результат.
Архитектуру можно менять, модель угроз — нет
Работа даёт практический вариант для организаций, которые не могут собрать общий корпус или передавать читаемые документы между площадками. Новые материалы достаточно закодировать и добавить в локальный индекс: обучать отдельный адаптер для каждого документа не требуется. Платой становятся общий кодировщик, совместимый генератор, обучение проектора и центральный узел, который координирует поиск.
Передача представления не равна конфиденциальной передаче. В проверке злоумышленник с доступом к проектору и замороженной модели пытался напрямую восстановить текст из перехваченных векторов. Для KILT-NQ доля восстановления найденного контекста снизилась с 20,4% после семантического обучения до 11,0% после настройки на задачу; для запросов итоговое значение составило 5,4%.
Добавление шума при первом этапе обучения снизило восстановление контекста до 0,6%, при этом итоговая метрика точного совпадения ответа осталась сопоставимой с вариантом без такой защиты. Однако это защищает обучение проектора от конкретной проверенной атаки, а не даёт сквозной гарантии для запросов, векторов, оценок сходства и работы центрального сервера.
FedRepRAG меняет планы команд, если запрет касается именно передачи исходных документов, а обмен производными представлениями допустим после отдельной проверки. Для систем, где нельзя раскрывать даже частично восстанавливаемые признаки, одной замены текста на векторы недостаточно: архитектуре понадобятся дополнительные средства защиты и собственные испытания на восстановление данных.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
