Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Pinterest научился регулярно находить признаки, которые можно убрать из работающей рекомендательной системы без ухудшения пользовательских метрик. В препринте, который не прошёл рецензирование, приведены замеры самих авторов: удаление 8 признаков из Pin Ranker сократило число обучаемых параметров на 29,9% и повысило пропускную способность на 19,8–25,5%. Для команд это превращает чистку модели из разового проекта в постоянную часть её жизненного цикла.
Как FORTE отсеивает признаки до дорогого A/B-теста
Добавить признак проще, чем удалить. Новый признак достаточно обосновать улучшением одной целевой метрики при сохранении контрольных показателей. При удалении команда должна убедиться, что не ухудшилась ни одна значимая метрика, а для этого обычно приходится переобучать модель и занимать трафик онлайн-экспериментом.
FORTE переносит основную фильтрацию на более дешёвый офлайн-этап. Система берёт текущую рабочую версию модели и дневной срез данных, затем по очереди разрушает сигнал каждого признака: перемешивает его значения между примерами либо заменяет подходящим пустым значением. Если метрика почти не меняется, модель слабо опирается на этот признак.
Все варианты выполняются за один распределённый проход. Данные и модель загружаются один раз, а каждый эксперимент выбирает исходную или изменённую версию нужного столбца. Так общие расходы на чтение данных, запуск вычислительных узлов и загрузку модели распределяются между всеми проверками.
Одного дневного результата недостаточно. FORTE учитывает среднюю важность признака за выбранный период, устойчивость его места в рейтинге и направление изменения. Признак проходит дальше, только если остаётся малозначимым для всех контролируемых выходов модели. Длину периода и пороги задаёт команда модели.
Затем система собирает вложенные группы кандидатов и изменяет их совместно. Это нужно, потому что два коррелирующих признака могут подменять друг друга: по отдельности оба покажутся бесполезными, хотя модели нужен хотя бы один. Групповая проверка не устраняет эту статистическую проблему полностью, но отсеивает часть опасных сочетаний до переобучения.
Оставшиеся варианты проходят переобучение и онлайн A/B-тест. После запуска FORTE проверяет реестр моделей, находит всех потребителей удалённых признаков и проводит вывод по этапам: сначала запрещает возвращать признак в загрузчик, затем прекращает чтение и запись столбца и только после этого убирает сбор исходных данных.
Офлайн-проверка не заметила вариант, который отклонил продакшен
Подход проверили на Search Relevance и Pin Ranker — двух действующих системах Pinterest с разной архитектурой. Это не обычный отбор признаков при разработке модели: FORTE работает с уже запущенными версиями, где удаление должно пройти через пользовательские метрики и зависимости данных.
Для Search Relevance команда выбрала набор из 48 признаков, то есть 43,2% всех входных признаков модели. Самый агрессивный вариант выглядел нейтральным после групповой проверки и переобучения, но онлайн-эксперимент обнаружил ухудшение вторичной контрольной метрики. Этот результат задаёт роль офлайн-оценки: она экономит трафик A/B-тестов, но не заменяет их.
Экономический эффект зависел от устройства модели. В Search Relevance число обучаемых параметров сократилось на 2,3%, а пропускная способность выросла на 2%. В Pin Ranker удаление сильнее повлияло на размер модели, а вместе с сокращением расходов на вывод и обучение дало экономию в сотни тысяч долларов в год.
Полный эффект появился только после проверки происхождения и потребителей данных. У Pin Ranker удалённые признаки больше не использовала ни одна другая модель, поэтому команда смогла убрать столбцы из наборов данных и остановить задания, которые их рассчитывали. Без этого шага запуск облегчённой модели сохранил бы часть расходов выше по конвейеру.
Что меняется в планах команды рекомендательной системы
Работа предлагает планировать удаление признаков как отдельный производственный процесс, а не как периодическую ручную уборку. В дорожной карте для такой системы появляются ежедневный отчёт о важности, история по версиям модели, совместная проверка групп, бюджет на контрольные A/B-тесты и реестр зависимостей признаков.
Оценку важности нельзя превращать в автоматическое разрешение на удаление. Перемешивание создаёт сочетания значений, которых может не быть в реальном трафике, а коррелирующие признаки и сложные взаимодействия искажают результат. Поэтому практическая последовательность остаётся консервативной: измерить, проверить группу, переобучить, провести онлайн-тест и только затем отключать данные.
Экономику тоже нужно считать на собственной архитектуре. Удаление входного признака может сократить таблицу представлений и число параметров, а может почти не изменить вычислительный граф. Приоритет стоит отдавать кандидатам, которые одновременно слабо влияют на качество и дорого обходятся при хранении, подготовке, передаче или обработке.
Проверка охватывает только модели Pinterest, поэтому её показатели нельзя переносить на другую рекомендательную систему как норматив. Кроме того, агрегированная нейтральность не гарантирует одинакового результата для отдельных групп пользователей: в Search Relevance трафик делили лишь на US и остальной мир, хотя модель обслуживает более 45 языков. Команде потребуется разбиение, которое соответствует её географии, языкам и типам трафика.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
