Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Локально успешная атака на обмен между ИИ-агентами не позволяет предсказать ущерб: её влияние нужно отслеживать до решения, вызова инструмента и изменения состояния процесса. В Agent-Canary-Mas доля таких атак, дошедших до последствия, менялась от 7,1% до 100%; препринт не рецензирован, а замеры выполнили сами авторы. Для архитектуры это означает, что проверка сообщения на входе не заменяет контроль полномочий при каждом значимом использовании.
Agent-Canary-Mas сравнивает вредоносный и штатный запуски с одинаковыми целью, исходным состоянием, ролями, инструментами и схемой взаимодействия. В 975 парных сценариях менялось одно свойство протокольного объекта: описание возможностей, маршрут, сообщение или сохранённый результат. Система затем связывала выбор участника, получение объекта, действия агентов и итоговое изменение состояния.
Такой след помогает не только увидеть последствие, но и определить, какой агент внёс опасный объект и кто использовал его без достаточных полномочий. Данные из всей цепочки повысили F1-меру аудита на 65,8 процентного пункта. Эта метрика объединяет точность и полноту определения виновного участника, поэтому результат указывает на практическое требование к журналам: записи разных агентов должны сохранять связь между источником, получателем, использованием и эффектом.
Защитный модуль Guard проверял полномочия объекта при передаче между агентами и переносил ограничения на последующие шаги. В финансовых сценариях с MiniMax-M3 он снизил среднюю локальную успешность атак на 32,3 процентного пункта. При этом защита прерывала часть штатных процессов: проверка полномочий требует безопасного способа выбрать другой источник или продолжить задачу без отклонённого объекта.
Проверка охватила A2A, ANP и BCS, а также сценарии из финансов, здравоохранения, логистики, исследований и путешествий. Задачи были контролируемыми и преимущественно последовательными; последствия фиксировали как решения, записи и действия внутри среды, а не как реальный финансовый или клинический ущерб. Атакующий представлял обычного участника протокола без украденных учётных данных, доступа к инфраструктуре или сговора с другими агентами.
Источники
Иллюстрация: рисунок из статьи «Agent-Canary-Mas: End-to-End Evaluation of Protocol Risk in Long-Horizon Multi-Agent Systems», Xiuming Liu, Le Gai, Zhiyuan Chang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
