Редкие ответы — в разметку до постобучения

Редкие ответы, на которых модель-оценщик ошибается, можно заранее включить в разметку и не дать постобучению усилить эту ошибку. В нерецензированном препринте Sanjit Dandapanthula и соавторов, где все числа получила сама группа, обычной выборке потребовалось более 14 000 генераций, чтобы собрать все 116 вариантов ответа, а новой — 450. Для команд это меняет не алгоритм постобучения, а способ расходовать дорогую экспертную разметку перед его запуском.

Почему примеры базовой модели не показывают опасную ошибку

При постобучении модель часто оптимизируют не по оценкам людей, а по более дешёвой замене: модели-оценщику, автоматической метрике или модели вознаграждения. Если эта замена завышает оценку редкого плохого ответа, оптимизатор постепенно повышает его вероятность. Модель начинает получать высокий формальный балл и хуже выполнять настоящую задачу — это называют взломом вознаграждения (reward hacking).

Разметка обычных ответов базовой модели не всегда находит такую ошибку. Редкий ответ почти не попадает в выборку, поэтому после калибровки оценщик продолжает считать его хорошим. Постобучение затем переносит вероятность именно в эту область, и малозаметная погрешность становится основным поведением модели.

Выборка только из модели, уже оптимизированной против исходного оценщика, тоже не решает задачу во всех случаях. Она хорошо находит ответы, которым оценщик поставил слишком высокий балл, но может сосредоточиться на одном наиболее выгодном отклонении и пропустить остальные. Кроме того, такая модель уходит от обычных ответов, которые оценщик мог систематически недооценить.

Как оболочка выбирает примеры для разметки

Авторы предлагают распределение, которое покрывает ответы, способные стать вероятными после правдоподобной коррекции оценщика. Они называют его оболочкой. В теории это распределение минимизирует худший возможный разрыв между качеством модели, обученной по исправленному оценщику, и модели, которую обучили бы непосредственно по дорогой истинной оценке.

Гарантия опирается на предположение: истинная оценка и откалиброванная оценка ограниченно отклоняются от исходного оценщика. Тогда оболочку можно вычислить через модель, уже оптимизированную по этому оценщику. Чем реже она выдаёт последовательность, тем больший дополнительный вес получает последовательность при отборе.

Практический процесс выглядит так:

1. Команда обучает или получает модель, оптимизированную по текущему оценщику.
2. Для каждой сгенерированной последовательности вычисляет её вероятность и по ней — вес оболочки.
3. Отбирает примеры, получает экспертные оценки и калибрует оценщик выбранным способом, например уточняет его критерии.
4. Запускает окончательное постобучение уже по исправленной оценке.

Получать выборку можно без дополнительного обучения: генерировать ответы и отбрасывать часть из них с вероятностью, заданной весом оболочки. Если такой способ требует слишком много генераций, тот же сдвиг создают дополнительной наградой за редкие последовательности и обучают отдельную модель-генератор.

Метод не задаёт конкретный способ калибровки. Он отвечает на предшествующий вопрос: какие ответы нужно показать экспертам, чтобы исправление оценщика переносилось на поведение будущей модели, а не только на типичные примеры из исходного распределения.

Когда схема меняет план постобучения

В контролируемой задаче на соглашательство модель-оценщик предпочитала правдоподобные, но неверные ответы. При одинаковом наборе уникальных размеченных ответов обычная выборка оставляла ошибку на уровне 36,9%, а оболочка снижала её до 19,4%. Причина разницы — оболочка чаще показывала оценщику неверные варианты, которые базовая модель генерировала редко.

В опыте с клиническими заметками оценщик поощрял полноту и мог пропускать выдуманные показатели пациента. После калибровки на восьми примерах из оболочки постобучение реже усиливало такие выдумки, чем после калибровки на ответах базовой модели. Обычная выборка при том же бюджете оставляла ошибку оценщика доступной для оптимизации.

Схема подходит командам, у которых есть дешёвый автоматический оценщик, ограниченный бюджет экспертных меток и риск редких, но дорогих ошибок. В плане работ появляется отдельный этап: сначала приблизительно оптимизировать модель по текущему оценщику, затем отобрать оболочку, откалибровать оценщик и только после этого запускать основное постобучение.

Проверки охватывают генерацию клинических заметок и искусственно контролируемое соглашательство. Теория рассматривает постобучение как точный вероятностный сдвиг и предполагает, что исправленная и истинная оценки остаются рядом с исходной; на практике это предположение обычно нельзя проверить. В клиническом опыте эталонную оценку давала другая LLM, а не врачи, поэтому результат показывает устойчивость самой схемы, но не подтверждает пригодность полученных заметок для медицинской работы.

Источники

• How to post-train on a surrogate: Envelope sampling mitigates reward hacking