Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
YouTube научился добавлять в рекомендательную систему новые задачи, не переобучая общую модель и не меняя уже работающие задачи. В препринте, который не прошёл рецензирование, сами авторы сообщают, что полный цикл эксперимента сократился с 24 до 11 дней. Подход снимает задержку между изменением ранжирования и проверкой его влияния на всю цепочку рекомендаций.
Как новый блок изолируют от общей модели
Производственная рекомендательная система YouTube состоит из нескольких стадий. Модель ранжирования оценивает кандидатов, затем следующие модели используют её прогнозы, чтобы собрать итоговую выдачу. Если добавить новый прогноз, меняется пространство входных данных для всех последующих стадий.
Обычный выходной блок обучается вместе с общей частью модели. Он может улучшить общие представления, но может и вступить в конфликт с другими задачами: обновления весов ради новой цели ухудшат уже работающие прогнозы. Кроме того, новую версию приходится обучать, запускать на части трафика и ждать, пока накопятся данные для следующих моделей.
Light Heads устроены как небольшие выходные блоки поверх существующего общего представления. Во время обратного прохода система останавливает градиент на границе блока. Новая задача меняет только собственные слои и не обновляет общую основу, поэтому не может повредить старым задачам через совместное обучение.
Описание каждого блока хранится в центральной конфигурации отдельно от кода конкретной модели. Там задают целевую метку, функцию потерь, тип прогноза, правила выборки и показатели для контроля. Все модели ранжирования читают одну конфигурацию и начинают выдавать одинаковый набор дополнительных прогнозов.
В начале каждого обучающего запуска Light Head по умолчанию сбрасывается и учится заново на свежем окне данных. Архитектуру делают достаточно мелкой, чтобы блок успел сойтись до экспорта модели в систему рекомендаций. Сброс не попадает в обслуживание пользователей: модель отправляют на выдачу только после завершения обучения.
Такой режим выравнивает прогнозы между давно работающими и новыми экспериментальными моделями. Для особенно редких задач сброс можно отключить и продолжать обучение с сохранённого состояния.
Что показали проверки на моделях YouTube
Подход проверяли на семействах моделей YouTube Home и Watch Next. В эксперименты вошли классификация и регрессия, плотные задачи с большим потоком примеров и разреженные задачи для отдельных сегментов. Light Heads сравнивали с полноценными блоками, которые обучались вместе с общей моделью на протяжении всего её срока работы.
Изоляция оказалась нужна не только по архитектурным соображениям. Когда остановку градиента убрали, AUC одного из основных блоков для прогноза клика снизился с 0,7767 до 0,7704. AUC показывает, насколько хорошо модель ставит положительные примеры выше отрицательных: большее значение означает более точное ранжирование.
Главный выигрыш проявился не в отдельной метрике модели, а во всей цепочке эксперимента. Единая конфигурация позволила собирать прогнозы Light Heads сразу со всех работающих моделей, а не только с небольшой экспериментальной группы. Подготовка совместного теста ранжировщика и следующей модели сократилась с 17 до 5 дней.
Light Heads использовали и после экспериментов. Блок для подписчиков Primetime повысил профильную вовлечённость на 13,83%. В работе также описан запуск задачи для долгосрочного качества рекомендаций, которая улучшила общую вовлечённость и сократила показы низкокачественных материалов.
Эти результаты относятся к инфраструктуре YouTube с непрерывным обучением, параллельными экспериментами и несколькими зависимыми стадиями. Проверка охватывает две производственные семьи ранжировщиков, а не рекомендательные системы любого типа.
Когда Light Heads меняют план разработки
Работа меняет планы команд, у которых новая задача ранжирования требует обновить несколько моделей подряд. В такой архитектуре основная задержка возникает не только из-за обучения большой основы: приходится получить новый поток прогнозов, накопить данные и переобучить следующий этап. Light Heads позволяют сначала проверить новую цель как изолированный выход существующей модели.
Для этого системе нужны непрерывное обучение, возможность динамически читать централизованную конфигурацию и достаточно частые запуски, чтобы новый блок успевал обучиться перед выдачей. Понадобятся также проверки перед экспортом, сводный контроль качества по всем моделям и запасное значение на случай, если конкретная модель ещё не подхватила новый блок.
В одноступенчатой системе исчезает главный источник выигрыша — ожидание данных для следующих моделей. Там подход экономит переобучение основы, но не сокращает длинную цепочку зависимостей, потому что такой цепочки нет. При редком пакетном обучении сбрасываемый блок также не успеет быстро восстановить качество.
Light Heads стоит рассматривать как слой для экспериментов и отдельных разреженных целей, а не как автоматическую замену совместному обучению. Если задача должна изменить общие представления модели, изоляция градиента этому помешает. Если важнее быстро проверить продуктовую гипотезу без риска для старых прогнозов, архитектура позволяет отложить дорогое переобучение до момента, когда ценность новой цели уже подтверждена.
Источники
- Lightweight Ranking Heads: Accelerating Multi-Task Experimentation in Production Recommender Systems
Иллюстрация: рисунок из статьи «Lightweight Ranking Heads: Accelerating Multi-Task Experimentation in Production Recommender Systems», Sanjay Surendranath Girija, Aniruddh Nath, Li Wei и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
