Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Программы, которые превращают законы в исполняемые правила, могут получить завышенную оценку, если эталон составил тот же человек, который истолковал закон. Jinhyung Bae показал это на статусах корейских компаний: одна переходная норма подняла совпадение с корпоративными раскрытиями с 83–86% до 89–90%; препринт не рецензирован, а числа получил сам автор. Для юридической автоматизации это меняет прежде всего проверку качества: нужен независимый след реальных решений, а не только ещё одна ручная трактовка.
LexTemporis сопоставляет программу с 10 901 наблюдением «компания — отчётный год». Корейские публичные компании указывали свой статус малого или среднего предприятия в годовых отчётах, а набор данных содержит версии закона, указов, приложений и переходных положений, которые действовали на соответствующую дату. Одну программу можно проверить и против эталонного правила автора, и против раскрытий компаний: первая оценка показывает, воспроизвела ли она его трактовку, вторая — совпала ли с практикой.
Дата меняла результат главным образом через положения вне основного текста закона. Для спорного переходного правила раскрытия поддержали выбранное автором прочтение в 130 из 189 случаев, где две трактовки давали разные ответы. Это не решает юридический спор, но позволяет проверить интерпретацию на независимом материале, а не объявлять её правильной внутри собственного эталона.
Четыре LLM писали правила, получая разные подборки правовых документов. Предварительно зарегистрированное сравнение не нашло подборку, которая работала бы лучше для всех моделей. В дополнительном анализе преимущество правильно подобранных положений сократилось у трёх моделей, когда эталон автора заменили раскрытиями компаний. Значит, удачный результат мог отражать сходство модели с авторской трактовкой, а не более точное воспроизведение решений.
Основная проверка охватывает корейские публичные компании и один вид статуса. В приложениях тот же принцип проверен на расчёте подоходного налога в США и минимальных объёмах процедур в немецких больницах. Независимые записи здесь измеряют фактическую практику; они не заменяют судебное толкование закона.
Источники
Иллюстрация: рисунок из статьи «Grading Executable Legal Rules Against Independent Records: Transitional Provisions and Korean SME Status», Jinhyung Bae, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



