RATL предлагает исправлять прогнозы по памяти прошлых ошибок

Yuchen He, Yueyang Cang, Zhiyuan Ning, Ningyu Wang и Li Shi предложили RATL — надстройку, которая хранит ошибки базовой модели прогнозирования и использует их для последующих поправок; работа опубликована как препринт, не проходивший рецензирования. По замерам авторов, средняя квадратичная ошибка iTransformer снизилась на 9,57%. Подход важен командам, которые прогнозируют несколько связанных временных рядов и могут хранить историю работы конкретной версии модели.

Что сделали

RATL меняет объект поиска в прогнозировании с дополнением через извлечение. Вместо фактического продолжения похожего временного ряда система сохраняет остаток прогноза — разницу между наблюдавшимся значением и результатом базовой модели.

Сначала базовую модель обучают обычным способом и замораживают. Для каждого обучающего окна она строит представление входных данных и прогноз, после чего в память записываются это представление и траектория ошибки. Память привязана к конкретной модели: после её замены или переобучения остатки потребуется вычислить заново.

Во время прогнозирования RATL ищет похожие исторические контексты отдельно для каждой переменной. В основному варианте ключами служат внутренние представления iTransformer, а поиск возвращает до 64 подходящих траекторий ошибок. Авторы ввели временное ограничение: система может извлекать только те записи, для которых на момент прогноза уже полностью известен фактический результат.

Найденные остатки делятся на временные блоки длиной восемь отсчётов. Обучаемый маршрутизатор J5 назначает кандидатам разные веса для каждого блока и каждой переменной. Среди кандидатов есть нулевая поправка, поэтому маршрутизатор может оставить исходный прогноз без изменения на отдельном участке.

Для обучения J5 авторы сравнивают найденные остатки с фактической ошибкой текущего обучающего примера. Так маршрутизатор учится определять, какая историческая ошибка подходит конкретной переменной и части горизонта. Общая сила поправки отдельно выбирается на проверочной выборке, включая возможность полностью вернуться к базовому прогнозу.

Что показали

Основные эксперименты проведены с замороженной iTransformer. Средняя абсолютная ошибка уменьшилась на 6,21%, а улучшение средней квадратичной ошибки наблюдалось в 48 из 52 сочетаний набора данных и горизонта. На Exchange два сочетания дали ухудшение, то есть механизм отказа от поправки не обеспечивает гарантии сохранения качества.

При одинаковой полной силе коррекции обучаемый J5 оказался лучше простого усреднения найденных остатков по сходству на 1,07 процентного пункта. По анализу авторов, разница статистически значима. Это отделяет пользу маршрутизатора от эффекта самого поиска, хотя итоговая конфигурация дополнительно получает подобранную на проверочных данных силу поправки.

Авторы также подключали RATL к замороженным DLinear, PatchTST, TimesNet и TimeMixer. Среднее изменение ошибки было положительным для каждой архитектуры, но величина выигрыша зависела от базовой модели, набора данных и способа построения ключей поиска. Работа поэтому показывает совместимость интерфейса, а не одинаковый эффект для любого прогнозировщика.

Почему остатки могут переноситься лучше готовых ответов

Историческое продолжение временного ряда содержит уровень, масштаб, тренд и ошибку модели одновременно. Даже похожие входные окна могут иметь разные абсолютные значения, поэтому прямое добавление чужого будущего способно исказить уже приемлемый прогноз.

Остаток решает более узкую задачу: он описывает, как конкретная модель ошиблась в похожем контексте. За основной уровень и структуру ряда по-прежнему отвечает базовый прогнозировщик, а память пытается восстановить повторяющуюся систематическую ошибку. Такая схема особенно уместна там, где режимы работы и периодические зависимости повторяются, но не полностью помещаются в текущее входное окно.

Ограничения

Основной протокол охватывает 13 публичных наборов данных и 52 сочетания набора с горизонтом. Это проверка на исторических эталонных данных, а не на работающих производственных системах. В статье нет замеров задержки, потребления памяти и стоимости поиска, хотя авторы указывают, что точный поиск и хранение многомерных остатков дорожают с ростом истории, числа переменных и длины прогноза.

Перенос на другие архитектуры проверялся в более узком охвате, причём панели использовали разные ключи поиска. Для TimesNet и TimeMixer нет сопоставления внутренних представлений с ключами на основе статистик входного окна, поэтому результаты не позволяют отделить влияние архитектуры от влияния ключа.

Сравнение с простым Direct тоже требует аккуратной трактовки: Direct применял полную поправку без подбора её силы, тогда как итоговый RATL выбирал силу на проверочной выборке. Авторы отдельно сравнили маршрутизаторы при одинаковой силе, но общий выигрыш RATL складывается из поиска, обучаемого выбора остатков и настройки поправки.

Что это значит

Работа не требует менять выбранную архитектуру прогнозирования. RATL можно рассматривать как дополнительный слой после уже обученной модели, если у команды есть достаточно исторических окон для построения памяти и ошибки модели повторяются в похожих режимах.

Планы стоит менять на уровне эксперимента, а не основной архитектуры. Практичный следующий шаг — воспроизвести надстройку на хронологически разделённых собственных данных, сравнить её с базовой моделью и простым усреднением остатков, а затем отдельно измерить задержку и объём памяти. Для рядов со сменой режимов и внешними шоками нужен консервативный отказ от коррекции и мониторинг ухудшений.

RATL также добавляет эксплуатационную связанность: память действительна только для той версии прогнозировщика, на ошибках которой построена. Обновление базовой модели потребует пересчёта памяти и повторного выбора силы поправки. Поэтому работа даёт основание проверить повторное использование ошибок, но не основание откладывать выбор базовой модели или рассчитывать на гарантированное улучшение.

Источники

• RATL: Learning from Retrieved Residuals for Robust Multivariate Time-Series Forecasting