Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Последовательную рекомендательную модель научили различать одинаковые истории, произошедшие в разные сезоны. В препринте команды Shopify, Massachusetts Institute of Technology и Liquid AI, который не рецензирован, а числа получили сами авторы, A/B-тест дал прирост конверсии на 0,33%. Метод сохраняет интерфейс RoPE, поэтому его можно проверить без замены всей архитектуры Transformer.
Порядок событий скрывает интервалы и сезонность
Последовательная рекомендательная модель получает историю действий пользователя и предсказывает следующий товар или событие. Заимствованный у языковых моделей механизм RoPE кодирует позицию: первое действие получает один угол поворота, второе — другой, и так далее.
Для текста такой порядок полезен: расстояние между словами часто выражается числом токенов. В рекомендациях соседние действия могли произойти с разницей в несколько секунд или несколько месяцев, но обычный RoPE считает оба промежутка одним шагом.
Простая замена номера позиции меткой времени решает только часть проблемы. Модель начинает различать короткие и длинные интервалы, однако внимание по-прежнему зависит от разницы между датами. Если всю историю сдвинуть на одинаковый срок, оценки внимания не изменятся.
Из-за этого модель видит, что покупка произошла за неделю до запроса, но не понимает, пришлась ли эта неделя на обычный период или сезонный пик. Одинаковая последовательность действий получает одинаковую геометрию внимания в разных частях календарного цикла.
Как T-RoPE меняет геометрию внимания
T-RoPE подставляет в поворот векторов запроса и ключа реальные метки времени. События внутри короткой сессии остаются близкими, а длительные паузы разводят их дальше, даже если в истории они стоят рядом.
Одной временной частоты недостаточно: повторная покупка может следовать дневному, недельному или сезонному ритму. Поэтому метод распределяет по измерениям набор частот для разных временных масштабов. Обучаемые коэффициенты определяют, какие циклы важны в каждом слое модели и насколько сильно они должны влиять на внимание.
Во время обучения запрос получает время следующего события, которое модель должна предсказать. При работе в продукте вместо него используется текущее время сессии. Одна и та же история поэтому может дать разные рекомендации в разные календарные периоды.
Главное изменение касается ключей: T-RoPE поворачивает их в противоположном направлении. В обычном RoPE итоговая фаза зависит от разницы между временем запроса и события, а здесь — от их комбинации. Общий сдвиг всех дат меняет оценку внимания, поэтому модель может выучить календарную фазу, а не только давность действия.
Это не отдельный признак, который добавляют после расчёта внимания. Время меняет сами векторы запроса и ключа, а нужные масштабы модель выбирает при обучении. При этом T-RoPE использует тот же интерфейс вращательного позиционного кодирования; дополнительная вычислительная стоимость растёт линейно с длиной истории и размерностью головки внимания.
Когда результат меняет архитектурный план
Метод проверили на пяти открытых наборах данных, сравнив с SASRec, TiSASRec, HSTU, временным смещением внимания и TO-RoPE. T-RoPE показал лучший результат по всем метрикам; на разреженном PixelRec показатель HR@10 вырос на 78–130% относительно сильнейшего соперника. HR@10 показывает, как часто нужный объект попал в первые рекомендации.
Промышленный эксперимент охватил более 6 млрд взаимодействий в электронной коммерции. Относительно HSTU с временным смещением внимания метрики выросли на 13–82%. В онлайн-тесте число заказов увеличилось на 0,63%, но для этого показателя работа даёт лишь направленный результат, а не статистически подтверждённый эффект.
Проверки охватывают модели на основе HSTU, которые по временной истории предсказывают следующее событие, а также открытые наборы и закрытую систему Shop. Промышленные данные представлены агрегированно, тогда как для открытых экспериментов работа описывает архитектуру, обучение и алгоритмы прямого и обратного прохода.
Для команды с последовательным Transformer и доступными метками времени работа меняет приоритеты прототипа: вместо усложнения всей модели можно сначала заменить позиционное кодирование и переобучить вариант на своей истории. Абляция также показывает, что T-RoPE не обязательно вытесняет смещение внимания по давности: два механизма учитывают разные сигналы и могут работать вместе.
Для обычного ранжирования без последовательного предсказания работа результата не устанавливает. Практический вывод относится к системам, где порядок событий уже моделируется через RoPE, но интервалы и календарная фаза пока теряются.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
