Верная норма в ответе LLM не гарантирует вердикт по ней

LLM могут назвать правильную норму в юридическом объяснении, даже когда вердикт слабо реагирует на её замену. Работа Lexsi Labs обнаружила разрыв: верную норму модели называли в 66,7–100% ответов, хотя препринт не рецензирован и числа получили сами авторы. Для аудита юридической системы одной проверки цитат недостаточно.

Разработчики сохраняли факты дела, но подставляли в вопрос другую статью, категорию или договорное обязательство. Затем они сравнивали итоговые решения и на границе каждого предложения извлекали предполагаемый вердикт из скрытых состояний модели — внутренних числовых представлений текста. В CaseHOLD менялось только имя прецедента: его заменяли на вымышленное Doe v. Roe, не трогая факты и варианты ответа.

На CaseHOLD замена прецедента меняла ответ не чаще чем в 21,7% случаев. На ECHR, SCOTUS и ContractNLI чувствительность оказалась выше, но всё равно заметно отставала от частоты правильного называния нормы. Получается, модель часто выполняет формальное требование сослаться на источник, однако сама ссылка плохо показывает, следует ли решение за этим источником.

Отдельная проверка на одной паре задач ECHR показала второй риск. Скрытую в фактах инструкцию вынести заданный вердикт модели выполняли в 73,3–96,4% случаев — чаще, чем меняли решение после замены правовой нормы. Это не означает, что внедрённая команда всегда переворачивала исходный ответ, но проверять защиту от таких инструкций нужно отдельно от качества юридического объяснения.

Эксперименты охватили модели размером от 8 до 70 млрд параметров и четыре набора задач; на каждую связку модели и пары норм брали по 30 дел. Увеличение модели и юридическая донастройка не закрыли разрыв. При этом замена нормы в части опытов одновременно меняла юридический вопрос, поэтому метод показывает поведенческую зависимость вердикта, а не доказывает внутренний причинный механизм.

Источники

• Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness