Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агента для предиктивного обслуживания научились проверять по физике оборудования до того, как он отправит заявку на ремонт. В работе Arunkumar V, Gangadharan G. R. и S. Senthilkumar ConfGuard снизил успех вредоносной инструкции в выборе срочности с 29% до 0%, хотя препринт не прошёл рецензирование, а все числа получили сами авторы. Для промышленного контура это аргумент выносить проверку решений из промпта во внешний доверенный модуль.
Контрольный модуль (reference monitor) ставят между датчиками, LLM и системой заявок. Первый его компонент строит откалиброванный интервал прогноза оставшегося срока службы и сверяет его с историей конкретного агрегата. Срок не должен увеличиваться и не может сокращаться быстрее, чем идёт время эксплуатации; прогноз, который нарушает эти правила, передают человеку, не вызывая LLM.
Второй компонент проверяет уже сформированную заявку. Он независимо определяет класс срочности по тому же интервалу и отклоняет ответ агента, если классы расходятся. Поэтому инструкция из найденного документа не может сама разрешить опасное действие, а защищённый промпт остаётся лишь дополнительным слоем.
Для универсальной атаки на датчики ConfGuard снизил долю успешных воздействий с 54% до 12%. На чистых окнах монитор передал человеку 2,7% решений при заданном пределе 5%. Простая проверка фиксированного диапазона оказалась слабее: она пропускает завышенный срок службы у изнашивающегося агрегата.
Основные замеры провели на всех тестовых окнах C-MAPSS с планировщиком Qwen3-14B; вредоносные фрагменты документов создали по шаблонам. Модуль защищает трёхуровневую срочность, но не выбор детали и расписание работ. Кроме того, работа показывает две оставшиеся проблемы: атакующий может постепенно смещать историю допущенных прогнозов или перегружать контур запросами на ручную проверку.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



