Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Высокая точность LLM при проверке требований не означает, что модель применяет переданное ей правило. В работе Lexsi Labs, которая не рецензирована и содержит замеры самих авторов, удаление правила меняло итоговый вердикт лишь в 5,3% случаев. Поэтому перед внедрением недостаточно проверить ответы по размеченному набору: нужен отдельный тест зависимости от правила.
Для такого теста авторы предложили показатель чувствительности вердикта OCS. Документ оставляют прежним, а правило удаляют, заменяют правилом из другой области или инвертируют обязательства: «должен» превращают в «не должен». Если вердикт не меняется, система получает низкий OCS — это сигнал для дополнительной проверки, но не доказательство ошибки.
Низкая чувствительность в основном возникала на случаях, где ответ можно угадать по содержанию документа. Когда удаление правила превращало ранее правильный ответ в ошибочный, его замена меняла вердикт уже в 73–100% случаев. Обычная точность не различает эти режимы: правильный ответ по косвенным признакам выглядит так же, как результат применения нормы.
Отдельный тест проверял внутренние состояния модели. После изменения правила сдвиг по направлению, связанному с соблюдением требований, составлял 13–23% от исходного сигнала. Усиленные инструкции и направленное изменение внутренних состояний не смогли стабильно повысить точность на случаях с низким OCS.
Эксперименты охватили пять локально запущенных моделей и 20 областей из OmniCompliance-100K, по 200 случаев на область. Среди них были Llama-3.3-70B-Instruct, Qwen2.5-7B-Instruct и адаптированный Llama-Guard-3-8B. В основном запросе правило обрезали до 300 символов, поэтому выводы относятся к этому формату, а не к работе с полными текстами нормативных актов.
На практике OCS можно добавить в приёмочные испытания без эталонных меток: прогнать одни и те же документы с исходным, удалённым и заведомо неподходящим правилом. Такой аудит не устанавливает юридическую правильность изменённого ответа, зато показывает, зависит ли решение системы от нормы, которую ей поручили применять.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
