Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оформление записей в бенчмарке может заставить защитный фильтр иначе решать, блокировать ли действие ИИ-агента, хотя само действие не изменилось. В работе Kontext замена служебной метки снизила частоту блокировок Claude Haiku 4.5 на 8,33 процентного пункта, а обезличенные названия инструментов повысили её на 11,46 пункта, хотя препринт не рецензировали и все числа получили сами авторы. Оценку фильтра стоит проверять на устойчивость к форме данных, прежде чем опираться на неё при выборе защиты.
Проверку разделили на три ступени. Сначала искали простые признаки, которые предсказывают разметку без анализа смысла: длину команд, служебные метки и точные названия инструментов. Затем проверяли связь этих признаков с решениями фильтра и только после этого меняли один признак, сохраняя действие, его аргументы и контекст.
Самая наглядная правка заменила буквальную метку <INFORMATION> на <UNTRUSTED_EXTERNAL_CONTENT>. Другой вариант подставлял непрозрачные псевдонимы инструментов, но сохранял их описания и аргументы. Исходные и изменённые запросы запускали повторно и вперемешку, а перестановку пробелов в JSON использовали как плацебо: она помогала отделить эффект проверяемого признака от реакции на любое изменение формата.
Все опасные вызовы остались заблокированы, а разница возникла из-за ложных блокировок безопасных действий. После замены метки измеренная точность выросла с 73,44 до 81,77%. Простые диагностические правила также хорошо угадывали разметку LinuxArena, AgentDojo-Traj и AgentHarm-Traj, но часть результатов заметно слабела при разделении данных по доменам или пересчёте с равным весом взаимодействий.
Парные опыты провели на фиксированной выборке из 64 шагов AgentDojo-Traj. Сопоставимого эффекта не получили на GPT-5.6 Luna и детерминированной версии Q8 TS-Guard, поэтому результат относится к конкретной конфигурации Haiku, а не ко всем защитным моделям. Кроме того, новая метка точнее описывает происхождение данных, а псевдонимы могут добавлять неопределённость: проверка показывает чувствительность к этим правкам, но не доказывает, что бенчмарк сломан.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
