Журнал · Rit.work

Лидерборд зависит от правил: как проверить устойчивость оценки моделей

Новый протокол показывает, какие позиции лидерборда сохраняются при смене разметки, функции подсчёта и порога, а где сравнение моделей теряет смысл.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Оценку моделей предложили проверять вместе с правилами подсчёта, чтобы отделить устойчивые места лидерборда от сравнений, где победитель меняется вместе с методикой. Хотя работа не рецензирована и числа получили сами авторы, в проверке LLM-оценщиков 12,25% попарных сравнений потребовали отказаться от однозначного вывода. Значит, одного итогового балла недостаточно: вместе с ним нужно фиксировать условия, при которых сохраняется порядок моделей.

Контракт оценки задаёт версию эталонной разметки, функцию подсчёта и порог, после которого результат засчитывают. Протокол требует заранее объявить эти условия, измерить расхождения между ними, определить область допустимого сравнения, статистически подтвердить устойчивые результаты и пометить остальные как спорные. Так смена методики становится проверяемой частью эксперимента, а не скрытой настройкой лидерборда.

Для LLM-оценщиков проверили 17 моделей на почти 50 тысячах парных сравнений. Для 69% сравнений с достаточным отрывом верхняя оценка доли спорных случаев не превысила 7,2%; при малом отрыве результаты чаще зависели от состава оценщиков. Сверка с человеческими метками показала, что 65% спорных случаев вызваны ошибкой модели-оценщика, а не неоднозначностью примера.

Обучаемая часть метода не дала убедительного преимущества перед простым правилом. В аудите DocRE весь её запас свёлся к одному сравнению, где система вовремя отказалась выбрать победителя; правило без обучения прошло те же основные проверки. Для внедрения полезнее сам протокол и журнал спорных решений, чем отдельная нейросеть поверх метрик.

Работу проверяли в двух средах: на 44 запусках одной внутренней архитектуры DocRE и на панели LLM-оценщиков. Статистическое подтверждение в DocRE относится только к однородному семейству, а не к порядку опубликованных моделей; на реальных значениях уверенности подтверждение между разными моделями пришлось отозвать. Метод поэтому помогает очертить границы лидерборда, но не превращает любой набор оценок в надёжный рейтинг.

Источники

Иллюстрация: рисунок из статьи «Contract-Explicit Evaluation: From Auditing Learned Readers to Scoped Certificates», Hao Lu, Weixing Zhu, Ruiyang Li, CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу