Tabby раскрывает рецепт предобучения моделей временных рядов

Полный рецепт предобучения модели временных рядов Tabby выложили вместе с кодом, данными и сохранёнными состояниями модели. В препринте, который не проходил рецензирование и содержит замеры самих авторов, удаление синтетического генератора CauKerV2 увеличило среднюю абсолютную масштабированную ошибку (MASE) на 2,29%. Рецепт позволяет проверить не только готовую модель, но и влияние отдельных решений по данным и обучению.

Команда Shifeng Xie собрала около 312 млрд реальных наблюдений из GIFT-Eval-Pretrain+ и BLAST, дополнив их 48 млн синтетических примеров. Крупные наборы не получают преимущество только из-за размера: сначала случайно выбирается набор, затем ряд внутри него. KernelSynth создаёт гладкие и периодические зависимости, а CauKerV2 во время обучения смешивает тренды, смены режимов, всплески, долгую память и другие процессы через случайные причинные структуры.

В основе Tabby лежит Transformer на 145 млн параметров, который принимает до 8192 наблюдений. Расписание скорости обучения несколько раз доводит модель до локальной сходимости, поэтому промежуточные состояния можно использовать отдельно или продолжать обучать. Дополнительная функция потерь заставляет промежуточные слои сразу предсказывать несколько уровней будущего распределения, а не перекладывать всю задачу на последний слой.

Прогнозирование без дополнительного обучения проверяли на GIFT-Eval и TIME. Тот же предобученный каркас адаптировали для классификации на UCR Archive и применили к поиску аномалий на TSB-AD-U. Контролируемые сравнения отдельных решений проводили преимущественно на уменьшенной версии Tabby при фиксированном бюджете обучения. Модель обрабатывает каждый канал многомерного ряда независимо, поэтому рецепт пока подходит прежде всего для задач, где связи между показателями и внешние признаки не определяют прогноз.

Источники

• Tabby: An Open Pretraining Recipe for Time Series Foundation Models