Журнал · Rit.work

Отбор кандидатов ломает калибровку модели уже после её запуска

Баллы модели могут точно отражать вероятность на выходе, но ошибаться перед аукционом: FAR исправляет эту ошибку без переобучения модели и замены правил отбора.

Rit.work
Студия разработки
18 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Отбор кандидатов внутри многоступенчатой воронки может испортить точно настроенные вероятности, даже если сама модель продолжает работать без изменений. В работе Microsoft Ads, которая не прошла рецензирование и приводит замеры самих авторов, коррекция перед аукционом снизила ошибку калибровки на 60–71%. Значит, проверять баллы только на выходе модели недостаточно: их нужно повторно оценивать там, где они влияют на решение.

Почему исправный балл портится в воронке

Калиброванный балл совпадает с частотой целевого события. Если модель присваивает группе объявлений вероятность релевантности 0,6, положительную оценку должны получить примерно 60% объявлений из этой группы.

Такая точность не гарантирует правильного порядка кандидатов и не следует из него. Но абсолютное значение балла важно, когда система сравнивает его с порогом качества, смешивает с другими сигналами или использует в аукционе.

Проблема возникает после модели. Фильтр или повторное ранжирование может учитывать историю, свежесть, стоимость и другие признаки, которых нет в исходном балле. Среди кандидатов с одинаковой оценкой дальше проходят не случайные представители группы, а подмножество с иной фактической релевантностью.

Работа разделяет ошибку на три части. Унаследованная ошибка уже присутствует на входе этапа. Изменение состава появляется, когда после отбора меняются доли групп с разными баллами. Сдвиг внутри группы возникает, когда фильтр выбирает среди одинаково оценённых кандидатов тех, чей результат систематически отличается от среднего.

Последний случай нельзя исправить повторным обучением исходной модели на прежней выборке. Даже идеально калиброванный вход перестаёт быть калиброванным, если следующий этап видит дополнительную информацию о целевом результате. Отбор только по самому баллу, напротив, сохраняет калибровку.

Как FAR переносит калибровку к аукциону

FAR не вводит новый способ оценки вероятностей. Метод берёт обычную постобработку и обучает её не на всех выходах модели, а на кандидатах, которые дошли до точки принятия решения. В производственном эксперименте использовали изотоническую регрессию: она строит монотонное соответствие между исходным баллом и наблюдаемой релевантностью.

Коррекцию поставили перед аукционом на рекламной платформе. В эксперименте участвовали два региона, а в тестовую группу случайно направляли 5% поисковых запросов. Модель, фильтры и правила аукциона не меняли.

Ожидаемая ошибка калибровки (ECE) показывает средний абсолютный разрыв между баллом и долей положительных исходов в группах кандидатов. Перед аукционом FAR снизил её на 60–71%. Покрытие рекламы сократилось на 3,1–9,2%, поскольку завышенные оценки реже пропускали дефектные объявления, а CTR вырос на 1–2%. Изменение выручки на тысячу показов осталось в пределах погрешности.

Для проверки механизма использовали оценки релевантности, которые выставляют независимо от показа и клика. Это позволяет измерять ошибку у кандидатов, удалённых до аукциона. Проверку также повторили на адаптированных KuaiRand-1K и Criteo Attribution: сдвиг усиливался, когда этап отбора видел признаки, недоступные исходной модели.

Когда работа меняет архитектурный план

Результат важен для систем, где абсолютный балл проходит через несколько этапов и управляет порогами, ставками или смешиванием сигналов. К таким системам относятся рекламные аукционы, каскадные рекомендации, поиск с повторным ранжированием и модерация. Если балл нужен только для порядка кандидатов, калибровка может не влиять на итоговое решение.

В схему наблюдаемости стоит добавить проверку после каждого фильтра, а не только рядом с моделью. Для соседних этапов нужны сопоставимые метки и одинаковое определение целевого события. Иначе изменение разметки или периода сбора можно принять за эффект отбора.

Корректирующий слой следует обучать на представительной выборке кандидатов, дошедших до конкретной границы. Его нельзя без проверки переносить дальше по воронке: следующий фильтр способен снова изменить состав внутри групп с одинаковым баллом.

FAR подходит как сравнительно небольшой слой поверх замороженной модели, но требует регулярного переобучения. После изменения фильтров, модели или самой коррекции набор прошедших кандидатов меняется. Поэтому калибратор становится частью производственного контура, а не однократной процедурой перед запуском.

Работа не предлагает заменять анализ качества модели анализом воронки. Она разделяет две причины ошибки: модель может выдавать неверные вероятности до отбора, а инфраструктура — испортить верные вероятности после него. Исправлять их нужно на разных границах системы.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу