Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
BMMS позволяет проверять LLM по конкретному регуляторному документу или внутреннему своду правил, а не по заранее выбранным категориям вроде токсичности. На OpenAI Model Spec GPT-4o нарушил 70,7% обязательных жёстких требований, хотя препринт не рецензирован и числа получили сами авторы. Для выбора модели это переносит вопрос с общей «безопасности» на требования конкретного продукта.
Система извлекает из документа обязательства, которые модель может выполнить или нарушить в одном ответе либо вызове инструмента. Для каждого подходящего правила BMMS создаёт четыре одинаковых для всех моделей запроса: прямой, сценарный, пограничный и провокационный. Модель-оценщик относит ответ к соблюдению, частичному соблюдению или нарушению.
BMMS выдаёт профиль, а не единый рейтинг. Показатель CAS учитывает долю выполненных правил и их строгость, а CRM показывает, сколько требований модель продолжает соблюдать под давлением. Это разделяет широту соблюдения и устойчивость: модель может хорошо отвечать на прямой запрос, но отступать от правила после провокации.
Абсолютный CAS зависит от модели-оценщика: при повторной проверке оценщиками двух других поставщиков результат одной модели сдвигался до 0,22, хотя порядок моделей сохранялся. Поэтому BMMS надёжнее использовать для сравнения кандидатов на одном зафиксированном наборе запросов и оценщиков, а не как универсальный проходной балл.
Корпус охватил документы пяти типов — от спецификаций поставщиков до финансовых правил и законов о прозрачности ИИ; в итоговый набор вошли 397 правил. Основное сравнение провели на OpenAI Model Spec и Claude’s Constitution, причём проверяли базовые модели, а не собранных из них агентов. На собственных жёстких требованиях одна из двух моделей Claude не нарушила ни одного, другая нарушила 9,1%.
Для регулируемого продукта BMMS задаёт практическую схему аудита: загрузить применимый свод правил, отделить требования к поведению модели от обязанностей организации и проверить одинаковыми запросами несколько кандидатов. При этом итог нужно хранить вместе с версией правил, запросов и модели-оценщика — без них число нельзя воспроизвести.
Источники
Иллюстрация: рисунок из статьи «BMMS: Policy-Conditioned Measurement of Behavioral Compliance in Language Models», Anthony Rhodes, Gadi Singer, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
