INTENT разделяет ошибки модели по пользователю, времени и новому товару

Появился публичный тест моделей, которые предсказывают следующее действие по истории событий пользователя. Хотя препринт команды Mattias Kvist не рецензирован и все числа получила сама команда, тест показал: SASRec лидирует на знакомых объектах после временной границы, но получает ноль на новых. Общая метрика может скрыть, что модель запомнила каталог и перестанет работать при его обновлении.

INTENT делит проверку на семь ячеек по трём признакам: встречался ли пользователь при обучении, произошло ли событие после временной границы и был ли целевой объект в обучающем наборе. Модель ранжирует весь каталог, а NDCG@10 повышает оценку, когда правильный объект оказывается ближе к началу первой десятки.

Рейтинг моделей меняется вместе с ячейкой. SASRec лучше остальных предсказывает знакомые объекты после временной границы, однако не умеет оценивать объект без обученного вектора. Простое повторение последнего объекта пользователя лидирует на новых объектах в четырёх из пяти наборов. Вариант SASRec с признаками объектов помогает прежде всего на MicroLens, где доступны изображения, текст и аудио.

Время влияет сильнее, чем появление нового пользователя. После границы SASRec теряет от 25% до 68% результата на знакомых объектах. Контрольная модель без обучаемых параметров, которая повторяет последнее действие, тоже ухудшается на части наборов: значит, падение вызвано не только моделью, но и тем, что поведение пользователей меняется.

Проверку провели на пяти публичных наборах последовательных рекомендаций: Amazon H&K, KuaiRand, MicroLens, H&M и REES46. Для каждого выбрали собственную временную границу по одному заранее заданному правилу и сравнили SASRec, версию с признаками объектов, популярность и повтор последнего действия. Это данные магазинов и видеосервисов, а не банков; эталонные модели не настраивали под каждый набор, и ни одна из них не хранит параметры отдельного пользователя.

Источники

• INTENT: Out-of-Sample, Out-of-Time, and Cold-Start Evaluation on User Event Sequences