Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM научили отдельно решать, каким инструкциям из внешнего документа следовать, а какие считать атакой. В работе Harbin Institute of Technology, которая не проходила рецензирование, её авторы получили в собственных замерах преимущество EDIC над ReasAlign на 7,7 процентного пункта по отбрасыванию вредоносных команд и на 12,5 пункта в Arena-Hard-Auto. Для систем с поиском и инструментами это альтернатива защите, которая блокирует любые команды из внешних данных.
Модель разбирает внешний документ по отдельным инструкциям
Документ, результат поиска или ответ инструмента может одновременно содержать данные и команды. Например, документация API вправе требовать определённый формат ответа, а добавленная злоумышленником строка — предлагать проигнорировать задачу пользователя и передать закрытые сведения.
Многие защиты проводят границу по источнику: системной инструкции доверяют, внешний текст считают недоверенным. Такой подход останавливает часть атак, но мешает выполнять полезные требования, которые действительно относятся к задаче.
EDIC меняет единицу решения. Модель должна найти каждый фрагмент с инструкцией, отнести его к одному из трёх классов — полезному, вредоносному или информационному — и только затем выбрать действие. Полезную команду она выполняет, вредоносную отвергает, а обычный контекст использует как данные.
Обучающие примеры строят на реальных документах из открытых наборов: письмах, документации API, медицинских рекомендациях и материалах для поиска ответа. В них добавляют полезную инструкцию, вредоносную либо обе сразу. Смешанные документы принципиальны: если показывать атаки и допустимые команды раздельно, модель может освоить простое правило «всегда выполнять» или «всегда отказывать».
Для каждого примера создают четыре варианта ответа: правильный, игнорирующий все внешние команды, подчиняющийся атаке и выполняющий обе команды одновременно. Затем данные проходят проверку через удаление фрагментов. Без полезной инструкции ответ должен измениться, а без вредоносной — сохранить решение исходной задачи.
Раздельная награда не позволяет выиграть постоянным отказом
EDIC обучает две модели. Первая служит моделью-оценщиком: получает запрос, документ, отдельную инструкцию и готовый ответ, после чего определяет, выполнил ли ответ эту инструкцию. Сначала оценщик обучают на готовых примерах, затем уточняют с помощью GRPO — алгоритма обучения с подкреплением, который сравнивает несколько вариантов ответа внутри группы.
Вторая модель решает пользовательскую задачу и показывает ход рассуждений: находит команды, классифицирует их и формирует итоговый ответ. Её награда складывается по инструкциям. Выполнение полезной команды добавляет баллы, выполнение вредоносной вычитает их, а отдельная часть награды поддерживает требуемую структуру ответа.
Такую награду нельзя максимизировать одним безопасным шаблоном. Постоянный отказ снижает балл за полезные команды, а безусловное подчинение получает штраф за атаку. Качество оценщика при этом становится узким местом: если он неверно распознаёт выполнение команды, модель получает ошибочный учебный сигнал.
На Qwen3-4B метод довёл долю отвергнутых вредоносных инструкций до 91,2%, а выполненных полезных — до 89,5%. На Llama-3.1-8B-Instruct показатели составили 92,8% и 91,7% соответственно. Рост по обеим метрикам отличает EDIC от защит, которые повышают безопасность ценой частых отказов.
Для продуктовой команды это план обучения, а не готовый фильтр
Работа меняет планы команд, которые дообучают открытые модели для поиска по документам, обработки почты или вызова инструментов. Вместо единой метки «внешний текст недоверенный» им понадобится набор смешанных сценариев, разметка поведения по каждой инструкции и отдельный оценщик для расчёта награды.
EDIC не выглядит заменой изолированной среде, разграничению прав и проверкам перед выполнением действий. Метод обучает модель выбирать команды внутри текста, но не ограничивает технические возможности агента. В продуктовой архитектуре он добавляет ещё один уровень защиты между получением внешних данных и вызовом инструмента.
Метод проверяли на двух семействах открытых моделей и пяти наборах задач, а обучающие данные охватывали четыре типа документов. Эксперименты относятся к моделям масштаба Qwen3-4B и Llama-3.1-8B-Instruct; работа также ограничивает проверку одиночными сценариями и англоязычными материалами. Длинные цепочки действий агента, сложные HTML-документы и адаптивные атаки против самого оценщика требуют отдельной проверки.
Практический вывод относится прежде всего к подготовке данных. Полезные и вредоносные команды стоит помещать в один контекст и оценивать независимо: иначе обучение закрепляет глобальный отказ или глобальное доверие. Для команды без собственного контура дообучения работа пока даёт схему проверки поставщиков моделей, а не компонент, который можно подключить через API.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
