Журнал · Rit.work

ConfGuard проверяет заявки LLM-агента по физике оборудования

Внешний контрольный модуль сверяет прогноз из датчиков с историей оборудования, а решение LLM-агента — с детерминированной политикой обслуживания.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

LLM-агента для предиктивного обслуживания научились проверять по физике оборудования до того, как он отправит заявку на ремонт. В работе Arunkumar V, Gangadharan G. R. и S. Senthilkumar ConfGuard снизил успех вредоносной инструкции в выборе срочности с 29% до 0%, хотя препринт не прошёл рецензирование, а все числа получили сами авторы. Для промышленного контура это аргумент выносить проверку решений из промпта во внешний доверенный модуль.

Контрольный модуль (reference monitor) ставят между датчиками, LLM и системой заявок. Первый его компонент строит откалиброванный интервал прогноза оставшегося срока службы и сверяет его с историей конкретного агрегата. Срок не должен увеличиваться и не может сокращаться быстрее, чем идёт время эксплуатации; прогноз, который нарушает эти правила, передают человеку, не вызывая LLM.

Второй компонент проверяет уже сформированную заявку. Он независимо определяет класс срочности по тому же интервалу и отклоняет ответ агента, если классы расходятся. Поэтому инструкция из найденного документа не может сама разрешить опасное действие, а защищённый промпт остаётся лишь дополнительным слоем.

Для универсальной атаки на датчики ConfGuard снизил долю успешных воздействий с 54% до 12%. На чистых окнах монитор передал человеку 2,7% решений при заданном пределе 5%. Простая проверка фиксированного диапазона оказалась слабее: она пропускает завышенный срок службы у изнашивающегося агрегата.

Основные замеры провели на всех тестовых окнах C-MAPSS с планировщиком Qwen3-14B; вредоносные фрагменты документов создали по шаблонам. Модуль защищает трёхуровневую срочность, но не выбор детали и расписание работ. Кроме того, работа показывает две оставшиеся проблемы: атакующий может постепенно смещать историю допущенных прогнозов или перегружать контур запросами на ручную проверку.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу