Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ответ или действие ИИ-агента научились одновременно сверять с сотнями правил на естественном языке и отдельно отмечать соблюдённые, нарушенные и неприменимые пункты. VFM-4B превзошла GPT-5.4 на синтетической проверке правил; препринт команды с участием University of Toronto не прошёл рецензирование, а числа в нём получили сами авторы. Для продуктовой архитектуры это означает, что контроль можно вынести из системной инструкции в отдельный быстрый слой, который указывает конкретное нарушение и передаёт спорные случаи более дорогой модели.
Как одна модель проверяет независимые правила
Обычная модель-оценщик получает контекст, ответ агента и одно правило, после чего генерирует вердикт. Если правил сотни, приходится делать много запросов или просить модель вывести длинный список решений. Первый вариант повторно обрабатывает один и тот же контекст, второй увеличивает задержку и может смешивать правила между собой.
VFM сначала один раз кодирует общую часть: системную инструкцию, историю диалога, результаты инструментов и проверяемое действие. Затем каждое правило становится отдельной ветвью. Древовидная маска внимания разрешает ветви видеть общий контекст, но запрещает им влиять друг на друга.
Такая схема переиспользует кэш ключей и значений общей части. Перестановка правил не меняет вердикты, а добавление нового пункта не требует заново обрабатывать всю историю. Вместо генерации текста классификационная головка возвращает для каждого критерия одно из трёх состояний: правило соблюдено, нарушено или неприменимо.
Правила должны быть атомарными и проверяемыми по журналу агента. Формулировка «ответ ссылается на применённый нормативный документ» подходит, а требование «ответ соответствует всем применимым нормам» сначала придётся разложить на отдельные проверки. Именно качество такого разложения определяет, какую часть исходной политики охватит контроль.
Модель предварительно обучили на CriteriaBank: корпусе из 394 тысяч примеров с 321 тысячей разных формулировок критериев. Примеры охватывают реальные и синтетические диалоги, работу с инструментами, исправление ошибок и требования безопасности. Метки создавали другие модели, поэтому ошибки разметки могут переходить в проверяющую модель.
Скорость подходит для рабочего контура, точность — пока для триажа
На одной H100 модель проверила 1000 критериев при контексте примерно в 4K токенов за 1,81 секунды и заняла меньше 11 ГБ видеопамяти. Выигрыш растёт вместе с длиной общей части: контекст кодируется один раз, а критерии обрабатываются небольшими группами. Замеры проводили через HuggingFace Transformers без отдельного оптимизированного контура обслуживания.
Покритериальные вердикты дают больше, чем общий флаг ошибки. Система может показать нарушенный пункт, сохранить его в журнале аудита и передать дорогой модели только несколько наиболее вероятных нарушений. На DynaBench такой каскад использовал VFM для ранжирования правил, а более крупную модель — для окончательного решения.
Главная граница видна на реальных разговорах о страховых выплатах: лучший дообученный вариант ошибочно одобрял около 20% размеченных нарушений. Многие ошибки модель делала уверенно, поэтому передача только неуверенных случаев не возвращала большую часть пропусков. Ставить такой проверяющий слой единственным блокирующим механизмом рано.
Проверки охватывали англоязычный текст: синтетические нормативные сценарии, разговоры о страховых выплатах, DynaBench и несколько задач из других областей. Модель не учитывает связи между правилами, а один вердикт объединяет две разные ситуации: правило действительно неприменимо или журнал не содержит достаточно сведений для решения.
Когда работа меняет архитектурный план
Подход полезен продуктам, где агент получает меняющийся набор политик: внутренние регламенты, ограничения клиента, правила доступа к инструментам и отраслевые требования. Вместо расширения системной инструкции команда может хранить правила отдельно, проверять каждый вызов инструмента или ответ и получать структурированный журнал соблюдения.
Рабочая схема состоит из двух уровней. Компактная VFM проверяет весь набор и отбирает подозрительные пункты, а крупная рассуждающая модель рассматривает только их вместе с нужным фрагментом контекста. Это сокращает число дорогих проверок и сохраняет объяснимую привязку решения к конкретному правилу.
План внедрения всё равно должен включать подготовку критериев, доменное дообучение и настройку порогов на собственных журналах. Для правил с предусловиями лучше завести отдельные проверки, чтобы отличать неприменимость от нехватки сведений. Критические действия — удаление данных, перевод денег или изменение прав доступа — должны дополнительно проходить детерминированные проверки вне модели.
Работа меняет выбор не базовой LLM агента, а контрольного слоя вокруг неё. VFM показывает, что сотни правил уже можно проверять с задержкой рабочего запроса, но результаты обосновывают мониторинг и выборочную эскалацию, а не автономное разрешение действий.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



