Журнал · Rit.work

A/B-тесты политик: трафик стоит направлять туда, где варианты расходятся

Новая схема A/B-теста меняет вероятности показа отдельных действий и снижает ошибку оценки по сравнению с обычным разделением трафика между политиками.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Для сравнения двух рекомендательных или ранжирующих политик предложили направлять экспериментальный трафик на действия, которые лучше различают варианты. В нерецензированном препринте Microsoft и DeepL, где все числа получили сами авторы, лучший вариант снизил среднюю квадратичную ошибку на 26–41% относительно сильного метода с оптимизированным разделением трафика. Схема может сократить эксперимент, если платформа позволяет управлять вероятностью каждого действия, а не только долей пользователей в двух группах.

Одинаковые действия создают шум, но не помогают сравнению

Обычный A/B-тест сначала назначает запросу рабочую или новую политику, а затем выбранная политика показывает товар, документ или рекомендацию. Такой дизайн удобен, но игнорирует пересечение политик: оба варианта могут часто выбирать одни и те же действия с близкими вероятностями.

Общий для политик популярный товар почти ничего не говорит о разнице между ними. При этом случайные клики и пропуски по нему попадают в средние значения обеих групп и увеличивают дисперсию — разброс результата между повторными запусками эксперимента. Чем выше разброс, тем больше трафика требуется, чтобы отличить небольшой эффект от случайности.

Методы вроде CUPED уменьшают шум после того, как схема сбора данных уже задана. Более новые подходы учитывают пересечение политик и подбирают общую долю трафика между ними. Но одна доля одновременно меняет вероятности всех действий и не может отдельно усилить показы именно там, где варианты расходятся.

Как совместно настроили сбор данных и оценку эффекта

Предложенная схема отделяет политику сбора данных от обеих сравниваемых политик. Для каждого контекста она сама выбирает вероятность действия, а затем корректирует наблюдаемую награду с учётом этой вероятности. Наградой может быть клик или другое бинарное событие.

Оптимальная вероятность зависит от двух величин. Первая — абсолютная разница между вероятностями действия у новой и рабочей политик. Вторая — неопределённость награды, которая остаётся после поправки по исторической модели.

Действие получают чаще, если политики сильно расходятся по его вероятности и результат по нему трудно предсказать. Если обе политики назначают действию одинаковую вероятность, оно не помогает оценить разницу и почти не требует экспериментального трафика. Небольшая защитная примесь равномерного распределения сохраняет ненулевой шанс для каждого действия.

Историческая модель предсказывает награду по контексту и действию. Оценка сначала использует этот прогноз, а затем исправляет его по фактическим результатам с весами, обратными вероятности показа. Поэтому неточная модель награды не создаёт систематического смещения, если политика сбора и поправка обучены на отдельной истории и зафиксированы до начала нового эксперимента.

Для заданной поправки авторы получили формулу оптимальной политики сбора данных. Благодаря этому не нужно одновременно перебирать все вероятности действий и параметры модели: сначала оптимизируют поправку, а распределение действий вычисляют из неё.

Когда схема меняет план эксперимента

Модельная поправка достигала точности сбалансированного A/B-теста с 39–51% его оценочного трафика. При верхнем изученном объёме данных статистическая мощность — вероятность обнаружить реальный эффект — выросла в 1,5–2,1 раза, а вероятность выбрать худшую политику по знаку оценки снизилась на 42–63%.

Даже после такого улучшения мощность оставалась ниже 0,40. Метод сокращает расход трафика, но сам по себе не превращает слабый эксперимент в достаточное основание для выкладки.

Проверка охватывает симуляции со стохастическими и сильно пересекающимися политиками, бинарными наградами и небольшим эффектом. Число доступных действий менялось от 25 до 75, а объём оценочного трафика — от 1 000 до 10 000 взаимодействий. Сравнение включало обычный A/B-тест, оценку с учётом пересечения и методы, которые оптимизируют только общую долю трафика между политиками.

Для команды это меняет план, если сервис уже знает вероятности действий обеих политик и может показывать действия через отдельный распределитель. Тогда эксперимент стоит проектировать не как переключатель между двумя системами, а как самостоятельную политику сбора данных.

Если инфраструктура умеет только закреплять пользователя за вариантом, результат остаётся ориентиром для будущей архитектуры, а не готовой заменой A/B-теста. Схема также опирается на независимые исторические логи и предполагает, что связь между контекстом, действием и наградой сохраняется на этапе оценки.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу