Журнал · Rit.work

Юридический код предложили проверять по реальным решениям

LexTemporis показал, как проверка по корпоративным раскрытиям меняет оценку программ, которые LLM создают из законов.

Rit.work
Студия разработки
19 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Программы, которые превращают законы в исполняемые правила, могут получить завышенную оценку, если эталон составил тот же человек, который истолковал закон. Jinhyung Bae показал это на статусах корейских компаний: одна переходная норма подняла совпадение с корпоративными раскрытиями с 83–86% до 89–90%; препринт не рецензирован, а числа получил сам автор. Для юридической автоматизации это меняет прежде всего проверку качества: нужен независимый след реальных решений, а не только ещё одна ручная трактовка.

LexTemporis сопоставляет программу с 10 901 наблюдением «компания — отчётный год». Корейские публичные компании указывали свой статус малого или среднего предприятия в годовых отчётах, а набор данных содержит версии закона, указов, приложений и переходных положений, которые действовали на соответствующую дату. Одну программу можно проверить и против эталонного правила автора, и против раскрытий компаний: первая оценка показывает, воспроизвела ли она его трактовку, вторая — совпала ли с практикой.

Дата меняла результат главным образом через положения вне основного текста закона. Для спорного переходного правила раскрытия поддержали выбранное автором прочтение в 130 из 189 случаев, где две трактовки давали разные ответы. Это не решает юридический спор, но позволяет проверить интерпретацию на независимом материале, а не объявлять её правильной внутри собственного эталона.

Четыре LLM писали правила, получая разные подборки правовых документов. Предварительно зарегистрированное сравнение не нашло подборку, которая работала бы лучше для всех моделей. В дополнительном анализе преимущество правильно подобранных положений сократилось у трёх моделей, когда эталон автора заменили раскрытиями компаний. Значит, удачный результат мог отражать сходство модели с авторской трактовкой, а не более точное воспроизведение решений.

Основная проверка охватывает корейские публичные компании и один вид статуса. В приложениях тот же принцип проверен на расчёте подоходного налога в США и минимальных объёмах процедур в немецких больницах. Независимые записи здесь измеряют фактическую практику; они не заменяют судебное толкование закона.

Источники

Иллюстрация: рисунок из статьи «Grading Executable Legal Rules Against Independent Records: Transitional Provisions and Korean SME Status», Jinhyung Bae, CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу