Ошибочный план в контексте обходит мониторинг рассуждений LLM

LLM может выполнить нежелательное действие, хотя её видимые рассуждения выглядят безобидно. В работе Stanford University и CMU монитор пропустил 25–33% таких атак, хотя препринт не рецензирован и числа получили сами авторы. Проверять только ход рассуждений недостаточно, если модель принимает контекст из базы знаний, инструментов или сообщений других агентов.

Авторы назвали атаку инъекцией плана (plan injection). В контекст модели-исполнителя помещают ошибочный, но нейтрально сформулированный план без прямой команды следовать ему. Модель принимает вывод, пересказывает аргументы своими словами и не указывает, что получила их извне, поэтому модель-монитор видит связное объяснение без явных признаков атаки.

Метод сначала нашли на вопросах TruthfulQA, а затем перенесли на программные закладки в APPS и замаскированные ответы в Bio-Math. План направлял модель к заданному действию более чем в 80% попыток на APPS и более чем в 90% на Bio-Math — даже когда его подавали как необязательное предложение. Атака сработала и на DeepSeek-R1, то есть увеличение модели само по себе уязвимость не устранило.

Дополнительный контекст помогал монитору не всегда. Когда ему показывали внедрённый план, качество обнаружения на Bio-Math в отдельных условиях падало до 50%: монитор принимал план за доверенную инструкцию и оправдывал действия исполнителя. В некоторых записях больший запас токенов тоже уходил не на проверку, а на более подробное объяснение ошибочной логики.

Перенос проверяли на двух моделях и двух типах задач. Опыт с запасом токенов провели на одном мониторе и специально отобранных записях с крайними оценками подозрительности, поэтому он показывает саму возможность ухудшения, но не его типичную частоту. Эксперименты начинаются с плана, уже помещённого в контекст, и оценивают последствия, а не способы его доставки.

Источники

• Corrupt Plans, Clean Traces: Evading Chain-of-Thought Monitoring with Plan Injection