Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Текстовые правила для LLM-оценщика научились править с учётом того, какие прежние ошибки исчезнут и какие новые появятся. В нерецензированном препринте, где все числа получили сами авторы, на ASAP2.0 доля точных оценок gpt-5-mini выросла с 18,20% до 46,70%. Такой подход позволяет улучшать оценщик без обучения его параметров, но требует размеченных ответов и отдельного набора для проверки каждой правки.
Правку измеряют по исправленным и новым ошибкам
Рубрика здесь означает текстовые правила, по которым модель выставляет балл. Обычный оптимизатор предлагает новую формулировку, повторно оценивает ответы и смотрит на итоговую точность. Из одной итоговой метрики не видно, исправила ли правка небольшой набор ошибок или одновременно исправила много старых и внесла почти столько же новых.
RubricWorld раскладывает оценку по границам между соседними баллами. Для каждой границы система проверяет два эффекта: сколько ошибочных решений стали правильными и сколько правильных испортились. Например, более строгое правило для верхнего балла может верно понизить завышенные оценки, но вместе с ними понизить ответы, которые заслуживали прежнего балла.
Для измерения эффекта одни и те же размеченные ответы прогоняют через оценщик до и после правки. Параметры LLM при этом не меняются. Система хранит текущий текст рубрики, историю испытанных изменений и сводку оставшихся ошибок.
На этих данных модель мира учится предсказывать последствия следующей правки. Она учитывает не только текст изменения, но и текущее состояние рубрики: одинаковая фраза может помочь после одной последовательности изменений и навредить после другой. Из нескольких вариантов система выбирает один, который обещает исправить целевую ошибку и не выйти за допустимый уровень побочного ущерба.
Выбранный вариант всё равно проверяют напрямую. Для принятия правки используют свежую часть размеченных ответов, которая не участвовала в подборе. Нижняя граница ожидаемой доли исправлений должна достигать 80%, а верхняя граница новых ошибок — оставаться не выше 8%. Даже отклонённая правка пополняет историю и помогает не выбирать похожие варианты в следующих раундах.
На сложной шкале выигрыш оказался самым заметным
RubricWorld занял первое место в 20 из 27 сочетаний набора данных, оценщика и метрики. На ASAP2.0 он выиграл все сравнения, а по точности с gpt-5-mini опередил лучший базовый метод APO на 22,60 процентного пункта.
Результат не оказался одинаковым на всех задачах. На EIR с QwQ-32B APO точнее совпадал с эталонным баллом, тогда как RubricWorld лучше выглядел по квадратично взвешенной каппе — метрике, которая сильнее штрафует за ошибку сразу на несколько ступеней. В отдельных сочетаниях EIR и ASAP-SAS методы GradeOpt также выигрывали по части метрик.
Проверка охватывала образовательные ответы из EIR (National), ASAP2.0 и ASAP-SAS. В роли неизменяемых оценщиков использовали Meta-Llama-3.1-8B-Instruct, QwQ-32B и gpt-5-mini, а основное сравнение продолжалось пять раундов. Соперниками выступали исходная рубрика, примеры без изменения правил, APO, GradeOpt и GEPA.
Работа поэтому показывает результат для порядковых учебных оценок, где есть человеческий эталон и явные границы баллов. Она не проверяет открытые оценки качества текста, безопасность ответов или потоковые данные, а перенос модели последствий на новые критерии остаётся отдельной задачей.
Планы стоит менять только при регулярной оптимизации оценщика
Для продукта с фиксированной рубрикой и небольшим числом проверок RubricWorld добавит лишние компоненты: генератор правок, модель последствий, историю состояний и независимый контур допуска. Если правила меняются редко, проще проверить несколько вариантов напрямую и оставить решение человеку.
Подход становится полезнее, когда оценщик работает постоянно, ошибки разбирают сериями, а каждая новая формулировка взаимодействует с предыдущими. Тогда команда получает не просто поиск более точного запроса, а управляемый процесс: выбирает конкретный тип ошибки, ограничивает допустимый ущерб и сохраняет результаты неудачных испытаний.
Экономию вычислений при этом нельзя считать доказанной. В продолжительном прогоне полная схема потратила 8,32 млн токенов против 8,15 млн у прямой проверки кандидатов: прогноз сократил число оцениваемых вариантов, но обучение модели и независимые проверки добавили собственные расходы.
Практический прототип потребует заранее разделить размеченные ответы на данные для поиска, допуска и финального теста. Повторно использовать набор допуска нельзя: система начнёт подстраиваться под него через историю принятых изменений. Для API-моделей доступ к весам не нужен, поскольку RubricWorld работает с текстом рубрики, выставленными баллами и эталонными оценками.
Работа меняет план для команд, которые уже закладывают бюджет на регулярную настройку LLM-оценщика. Вместо единственной метрики качества им стоит хранить парные результаты до и после каждой правки, отдельно считать исправленные и внесённые ошибки и проверять обновление на независимых данных. Для оценивания с серьёзными последствиями этот контур не заменяет человеческий разбор спорных решений.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
