Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель прогноза временных рядов может продолжать скрытую динамику по тем же правилам, по которым обрабатывала историю, если измерения лишь поправляют её внутреннее состояние. В работе CentraleSupélec и партнёров OSSM снизила среднеквадратичную ошибку MSE на Electricity на 22,9% относительно сопоставимой SSM, хотя препринт не рецензирован и числа в нём получили сами авторы. Для команд это не новый стек целиком, а кандидат на замену выходного блока в рекуррентной архитектуре.
Почему обычная SSM меняет правила на границе прогноза
Модели пространства состояний (SSM) поддерживают скрытое состояние, которое сжимает историю ряда. Во время обработки известных значений очередное наблюдение поступает в модель как управляющий сигнал и влияет на переход к следующему состоянию.
После последнего известного значения этот сигнал исчезает. Чтобы продолжить ряд, модель подаёт на вход собственный прогноз. Получается смена режима: на историческом участке динамикой управляют реальные наблюдения, а на будущем — предыдущие ответы самой модели.
Для перевода это разделение естественно: входная и выходная последовательности обозначают разные процессы. В прогнозировании временного ряда история и будущее относятся к одному процессу, поэтому граница обучающего примера не должна менять закон его развития.
OSSM разделяет две операции. Первая развивает скрытое состояние автономно и работает одинаково на истории и на горизонте прогноза. Вторая сравнивает предсказанное значение с доступным измерением и поправляет оценку состояния. Когда история заканчивается, поправка исчезает, но переход состояния остаётся прежним.
Эта конструкция опирается на наблюдатель Люенбергера из теории управления. Если параметры перехода и поправки выбраны подходящим образом, ошибка оценки скрытого состояния уменьшается по мере поступления измерений. В OSSM эти параметры не задают по физической модели системы, а обучают вместе с кодировщиком ряда.
Обычную замкнутую SSM можно математически переписать как частный случай OSSM. Новый подход не расширяет класс линейных рекуррентных выходных блоков, а независимо задаёт автономный переход и механизм поправки. Это позволяет управлять их начальными свойствами раздельно.
Схему проверяли на бенчмарке TFB: на 14 наборах для краткосрочного и долгосрочного прогнозирования и на четырёх горизонтах. В сравниваемых вариантах совпадали кодировщики, число параметров, оптимизатор, разбиение данных и начальные случайные состояния; менялась только параметризация выходного блока. В набор вошли финансовые, энергетические, транспортные, погодные и медицинские ряды.
Разделение помогло не на каждом временном ряду
На NN5 среднеквадратичная ошибка OSSM оказалась ниже на 16,1%, а на Traffic — на 12,2%. Улучшения также устойчиво проявились на Solar и нескольких наборах ETT, причём преимущество чаще росло на длинных горизонтах, где модель дольше работает без реальных измерений.
Результат не универсален. На NASDAQ, ETTh2 и Weather варианты показывали близкие или смешанные результаты в зависимости от показателя ошибки. Польза поправки состояния зависит от того, насколько доступная история помогает восстановить скрытое состояние процесса.
Различалась и устойчивость обучения: у OSSM разошлись 96 запусков, у сопоставимой SSM — 225. Поскольку вместимость моделей и протокол обучения совпадали, разницу связывают именно со способом разделить переход состояния и усвоение измерений.
Сравнение отвечает на узкий вопрос: лучше ли такая параметризация стандартного SSM-блока при остальных равных условиях. Оно не показывает превосходство OSSM над всеми современными архитектурами прогнозирования, включая модели без рекуррентного выходного блока.
Когда OSSM стоит добавить в план разработки
Работа меняет планы команд, которые собираются продолжать временной ряд рекуррентной SSM и после окончания контекста подавать модели её собственные прогнозы. В такой схеме стоит проверить OSSM до настройки более крупного кодировщика: замена затрагивает выходной блок и не требует увеличивать число параметров.
Практический эксперимент можно провести парно. Один вариант сохраняет обычную SSM, второй явно разделяет автономный переход и поправку по измерению; данные, начальные состояния и обучение остаются одинаковыми. Сравнивать стоит не только среднюю ошибку, но и долю разошедшихся запусков, особенно на длинном горизонте.
Если SSM служит только кодировщиком истории, а прогноз строит другой блок, вывод менее прямой. Авторы проверяли именно рекуррентные линейные выходные блоки и непрерывный контекст перед прогнозом. Идея также подходит для рядов с пропусками — между измерениями состояние развивается автономно, а новое значение его поправляет, — но экспериментальная часть работы сосредоточена на обычном непрерывном прогнозировании.
OSSM поэтому разумнее рассматривать не как обязательную замену текущей архитектуры, а как дешёвую по числу параметров альтернативу в сравнительном тесте. Если продукт зависит от длинного автономного продолжения ряда, работа даёт конкретную причину не смешивать динамику процесса с механизмом чтения наблюдений.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
