Журнал · Rit.work

VFM проверяет сотни правил ИИ-агента за один проход

VFM параллельно сверяет действия ИИ-агента с сотнями текстовых правил, указывает нарушенный пункт и передаёт спорные случаи более дорогой модели.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Ответ или действие ИИ-агента научились одновременно сверять с сотнями правил на естественном языке и отдельно отмечать соблюдённые, нарушенные и неприменимые пункты. VFM-4B превзошла GPT-5.4 на синтетической проверке правил; препринт команды с участием University of Toronto не прошёл рецензирование, а числа в нём получили сами авторы. Для продуктовой архитектуры это означает, что контроль можно вынести из системной инструкции в отдельный быстрый слой, который указывает конкретное нарушение и передаёт спорные случаи более дорогой модели.

Как одна модель проверяет независимые правила

Обычная модель-оценщик получает контекст, ответ агента и одно правило, после чего генерирует вердикт. Если правил сотни, приходится делать много запросов или просить модель вывести длинный список решений. Первый вариант повторно обрабатывает один и тот же контекст, второй увеличивает задержку и может смешивать правила между собой.

VFM сначала один раз кодирует общую часть: системную инструкцию, историю диалога, результаты инструментов и проверяемое действие. Затем каждое правило становится отдельной ветвью. Древовидная маска внимания разрешает ветви видеть общий контекст, но запрещает им влиять друг на друга.

Такая схема переиспользует кэш ключей и значений общей части. Перестановка правил не меняет вердикты, а добавление нового пункта не требует заново обрабатывать всю историю. Вместо генерации текста классификационная головка возвращает для каждого критерия одно из трёх состояний: правило соблюдено, нарушено или неприменимо.

Правила должны быть атомарными и проверяемыми по журналу агента. Формулировка «ответ ссылается на применённый нормативный документ» подходит, а требование «ответ соответствует всем применимым нормам» сначала придётся разложить на отдельные проверки. Именно качество такого разложения определяет, какую часть исходной политики охватит контроль.

Модель предварительно обучили на CriteriaBank: корпусе из 394 тысяч примеров с 321 тысячей разных формулировок критериев. Примеры охватывают реальные и синтетические диалоги, работу с инструментами, исправление ошибок и требования безопасности. Метки создавали другие модели, поэтому ошибки разметки могут переходить в проверяющую модель.

Скорость подходит для рабочего контура, точность — пока для триажа

На одной H100 модель проверила 1000 критериев при контексте примерно в 4K токенов за 1,81 секунды и заняла меньше 11 ГБ видеопамяти. Выигрыш растёт вместе с длиной общей части: контекст кодируется один раз, а критерии обрабатываются небольшими группами. Замеры проводили через HuggingFace Transformers без отдельного оптимизированного контура обслуживания.

Покритериальные вердикты дают больше, чем общий флаг ошибки. Система может показать нарушенный пункт, сохранить его в журнале аудита и передать дорогой модели только несколько наиболее вероятных нарушений. На DynaBench такой каскад использовал VFM для ранжирования правил, а более крупную модель — для окончательного решения.

Главная граница видна на реальных разговорах о страховых выплатах: лучший дообученный вариант ошибочно одобрял около 20% размеченных нарушений. Многие ошибки модель делала уверенно, поэтому передача только неуверенных случаев не возвращала большую часть пропусков. Ставить такой проверяющий слой единственным блокирующим механизмом рано.

Проверки охватывали англоязычный текст: синтетические нормативные сценарии, разговоры о страховых выплатах, DynaBench и несколько задач из других областей. Модель не учитывает связи между правилами, а один вердикт объединяет две разные ситуации: правило действительно неприменимо или журнал не содержит достаточно сведений для решения.

Когда работа меняет архитектурный план

Подход полезен продуктам, где агент получает меняющийся набор политик: внутренние регламенты, ограничения клиента, правила доступа к инструментам и отраслевые требования. Вместо расширения системной инструкции команда может хранить правила отдельно, проверять каждый вызов инструмента или ответ и получать структурированный журнал соблюдения.

Рабочая схема состоит из двух уровней. Компактная VFM проверяет весь набор и отбирает подозрительные пункты, а крупная рассуждающая модель рассматривает только их вместе с нужным фрагментом контекста. Это сокращает число дорогих проверок и сохраняет объяснимую привязку решения к конкретному правилу.

План внедрения всё равно должен включать подготовку критериев, доменное дообучение и настройку порогов на собственных журналах. Для правил с предусловиями лучше завести отдельные проверки, чтобы отличать неприменимость от нехватки сведений. Критические действия — удаление данных, перевод денег или изменение прав доступа — должны дополнительно проходить детерминированные проверки вне модели.

Работа меняет выбор не базовой LLM агента, а контрольного слоя вокруг неё. VFM показывает, что сотни правил уже можно проверять с задержкой рабочего запроса, но результаты обосновывают мониторинг и выборочную эскалацию, а не автономное разрешение действий.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу