Обучаемая связь между ИИ-агентами стала отдельной точкой атаки

Объединение безопасно настроенных ИИ-агентов может сделать систему менее безопасной, хотя сами модели не меняются. В препринте CISPA, который не проходил рецензирование и содержит замеры самих авторов, атака подняла средний показатель выполнения вредных запросов с 27,9 до 76,9 балла из 100. Поэтому обучаемый канал между агентами нужно проверять наравне с самими LLM.

Авторы исследовали скрытую связь: агент передаёт не текст, а свои внутренние представления. Небольшой обучаемый модуль преобразует их во входные векторы для следующего агента. Параметры Llama, Qwen и Gemma при обучении, атаках и восстановлении оставались замороженными — менялся только этот модуль.

Даже обучение на обычных задачах ослабляло отказы от опасных инструкций. Вероятность начать ответ с отказа снизилась с 0,84 при текстовом обмене до 0,29 при передаче внутренних представлений. Если принудительно задать начало отказа, безопасное поведение во многом возвращается: проблема связана не с удалением знаний о запретах, а с тем, как канал направляет первые шаги генерации.

Для атаки модуль обучали по оценкам ответов, не используя готовые вредные ответы как эталон. Модель-оценщик поощряла выполнение опасного запроса, а отдельная награда поддерживала качество на обычных задачах. Обратная процедура штрафовала опасные ответы и восстанавливала тот же канал: в среднем по всем проверенным сочетаниям атак и схем обмена показатель снизился с 70,3 до 4,8 без обновления агентов.

Эксперименты охватили три схемы обмена между агентами и четыре набора для проверки безопасности: HarmBench, StrongREJECT, AdvBench и JailbreakBench. Качество на безопасных задачах измеряли с помощью MATH500 и GPQA-Diamond. Результат относится к этим конфигурациям и показывает практическую границу: тест отдельных моделей не заменяет проверку собранной многоагентной системы.

Источники

• Safety of Latent Communication in Multi-Agent Systems