Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-оценщик может реже принимать убедительную подачу за правильный ответ без дополнительного обучения. В препринте Capital One, который не прошёл рецензирование и где все числа получили сами авторы, самопроверка улучшила результат в 20 из 21 сочетания модели и типа предвзятости. Для конвейера автоматической оценки это даёт альтернативу отдельной модели-критику: изменить запрос или добавить повторный проход той же модели.
Как отделили правильность от убедительной подачи
LLM-оценщик получает два ответа и выбирает лучший. Проблема возникает, когда на выбор влияет не содержание, а порядок ответов, их длина, поддержка якобы большинства, позитивный тон, ссылки на авторитеты, уверенная формулировка или аккуратное оформление.
Проверка охватила семь таких типов предвзятости. Для позиции, многословия, мнения большинства и эмоционального тона использовали готовые наборы на основе Chatbot Arena, GSM8K и ScienceQA. Для авторитетности, уверенности и оформления собрали новые наборы из TruthfulQA и MR-GSM8K.
В новых примерах неверный ответ специально делали внешне убедительнее. В него добавляли вымышленные научные ссылки, категоричные формулировки или профессионально выглядящие формулы и структуру. Правильный ответ оставляли простым либо формулировали менее уверенно, а его место в паре меняли случайно.
Каждый набор включал 500 примеров. В роли оценщиков выступили Claude Opus 4.6, gpt-oss-120b и Gemma 4 26B A4B. Для всех типов, кроме позиции, метрикой служила точность выбора правильного ответа; для позиции измеряли, сохраняет ли модель решение после перестановки ответов.
Предупреждение помогает до решения, самопроверка — после
Первый способ меняет исходный запрос. Оценщику заранее сообщают, какое смещение возможно: например, длинный ответ не обязательно точнее, а академическая ссылка не подтверждает факт. Модель должна учитывать предупреждение сразу при выборе.
Этот вариант особенно помог с ложным авторитетом. У Gemma точность выросла с 51% до 74,8%. Здесь раннее предупреждение оказалось полезнее последующей критики: если модель уже поверила вымышленной ссылке, она могла заметить подозрительный приём, но всё равно не пересмотреть решение.
Второй способ добавляет проход после первоначальной оценки. Та же модель разбирает своё решение, ищет влияние указанного смещения и затем выбирает ответ заново. Максимальный прирост достиг 15 процентных пунктов, причём отдельное обучение и размеченные примеры для этого не требовались.
Для сравнения использовали RBD-8B — отдельную модель-критика, обученную распознавать четыре ранее известных типа предвзятости. На новых типах она ухудшила исходный результат в 5 из 9 сочетаний. Самопроверка переносилась лучше, поскольку оценщик получал словесное описание новой ошибки, а не полагался только на шаблоны из обучающего набора.
Проверка также показала, что точное название смещения не всегда обязательно. Общая инструкция поискать систематическую предвзятость работала близко к инструкции с конкретным типом. Это полезно там, где заранее неизвестно, повлияют ли на оценку длина, оформление или уверенный тон.
Что менять в конвейере оценки
Если риск известен из формата задачи, сначала стоит добавить предупреждение в основной запрос. При попарном сравнении можно отдельно запретить учитывать порядок, при проверке ответов разной длины — напомнить, что подробность сама по себе не означает точность. Такой вариант сохраняет один проход модели.
Самопроверка подходит для случаев, где смещение зависит от содержания и его трудно описать одним правилом. Она требует ещё одного прохода, поэтому увеличивает задержку и расход токенов. Зато команда использует ту же модель и может повторно задействовать уже обработанный контекст, не разворачивая специализированного критика.
Работа не доказывает, что отдельные критики больше не нужны. RBD-8B проверяли на типах предвзятости, которых не было в его обучении; версия, дообученная на таких примерах, могла бы показать другой результат. Практический вывод уже: прежде чем собирать данные для отдельного детектора, можно проверить предупреждение и повторную оценку как более простой исходный вариант.
Границы эксперимента тоже существенны. Новые тесты построены на вопросах с однозначным фактическим ответом и искусственно усиленной подачей; результаты не переносятся автоматически на оценку диалогов, творческих текстов и других субъективных задач. Проверка охватила три семейства моделей, а предложенные способы снижали предвзятость, но не устраняли её полностью.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
