Taobao возвращает отвергнутые рекомендации вместо переобучения модели

Лента Taobao стала чаще открывать пользователям новые категории контента без переобучения рекомендательной модели. Работа команды Alibaba не рецензирована, а числа в ней получены самими авторами; в производственном A/B-тесте число открытых категорий выросло на 3,47% при сохранении вовлечённости. Такой подход позволяет добавить исследование новых интересов на уровне данных, не меняя модель.

Обычная схема принудительно подмешивает малоизученный контент, но модели не хватает истории, чтобы надёжно оценить его для конкретного пользователя. URED вместо этого сохраняет материалы, которые модель уже оценила высоко, но не показала из-за ограниченного числа мест в ленте. Система собирает их для каждого пользователя за 30 дней, оставляет категории, которых тот недавно не видел, и возвращает кандидатов на этап первичного отбора.

Разнообразие показанного контента выросло на 8,47%, а число полностью просмотренных видео — на 2,62%. Общее число просмотров тоже сдвинулось вверх, но разница осталась в пределах погрешности. Случайная подмешка материалов без фильтра по оценке модели не дала значимого прироста, а короткое окно накопления почти устранило эффект.

URED хранит подготовленные списки в хранилище «ключ — значение» и делает один запрос для каждого обращения к ленте. Задержка выросла менее чем на 1%, переобучать модель и менять последующие этапы ранжирования не пришлось.

Метод проверяли в ленте коротких видео Taobao на производственном трафике с десятками миллионов активных пользователей в день. Он лучше помогал активным пользователям, у которых успевал накопиться большой запас оценённых кандидатов; для пользователей с редкой историей эффект был почти нулевым. Поэтому схема подходит прежде всего зрелым рекомендательным системам, которые сохраняют оценки непоказанных материалов и получают достаточно повторных обращений.

Источники

• From Waste to Discovery: Recycling High-Scored Unexposed Candidates in Taobao Feed Recommendation