Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель научили учитывать внешние факторы без жёсткого выравнивания их временных рядов с целевой переменной. В препринте, который не проходил рецензирование и содержит замеры самих авторов, CTIA-ODE обошла девять моделей сравнения на восьми наборах данных. Такой подход позволяет добавить погоду, календарь или экономические показатели с другой частотой наблюдений, не строя для каждого момента симметричные связи между всеми переменными.
CTIA-ODE разделяет данные на целевые ряды и внешний контекст. Контекст кодируется один раз, а скрытое состояние целевых рядов обращается к нему по мере того, как решатель обыкновенных дифференциальных уравнений проводит состояние от начала прогноза к концу. Обычное дискретное внимание связывает признаки в отдельных слоях и требует сопоставить временные шаги; здесь запрос меняется вдоль всей траектории, а внешний контекст остаётся статичным.
Непрерывная ветка отвечает за локальные изменения, а параллельная линейная ветка удерживает общий тренд. Функция потерь ограничивает влияние крупных выбросов на градиенты. Без линейной ветки среднеквадратичная ошибка на ETTm1 при горизонте 720 шагов выросла почти на 16%: одного непрерывного решателя оказалось недостаточно для дальнего прогноза.
На Electricity при том же горизонте среднеквадратичная ошибка составила 0,205, а вывод одного примера занял 6,8 мс. Модель работала в пределах 4 ГБ видеопамяти. Эти значения показывают, что непрерывная динамика не обязательно требует тяжёлой архитектуры, хотя задержка зависит от оборудования и реализации.
Проверка охватила Electricity, Exchange, Traffic, Weather и четыре набора ETT при истории в 96 точек и горизонтах до 720 шагов. CTIA-ODE сравнивали с Transformer, моделями пространства состояний, линейными и свёрточными архитектурами; качество измеряли средней абсолютной и среднеквадратичной ошибкой. Поэтому результаты относятся к многомерным рядам с регулярным шагом и известными внешними признаками.
Источники
Иллюстрация: рисунок из статьи «CTIA-ODE: Continuous-Time Inter-Variable Attention for Long-Term Time Series Forecasting», Chengyi Pan, Huangqimei Zheng, Hao Xue, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
