Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Для точного прогноза временных рядов модели оказалось необязательно читать вдвое более длинную историю. PaCTS с половинной историей обошёл ту же замороженную модель с удвоенным контекстом примерно при половине вычислений; работа пока не рецензирована, а числа получили сами авторы. Метод позволяет сократить стоимость запуска уже обученной модели, не меняя её веса.
PaCTS строит для каждого ряда компактный набор скрытых токенов-векторов и добавляет их перед фрагментами исходной истории. Модуль учитывает общие свойства ряда — тренд, разброс, автокорреляцию и уровень шума, — а затем уточняет подсказку по отдельным временным сегментам. Основная модель остаётся замороженной: команда обучает только генератор подсказок, на который приходится менее 0,15% параметров исходной модели.
При той же длине истории PaCTS добавлял менее 8% вычислений. На TimesFM-2.5 метод с историей в 8192 шага использовал 49% операций по сравнению с обычным запуском на 16 384 шагах. При этом средняя абсолютная масштабированная ошибка MASE снизилась на 0,85%, а ошибка вероятностного прогноза CRPS — на 0,60%.
Метод проверили на двух наборах временных рядов и трёх архитектурах: Chronos-2, PatchTST-FM и TimesFM-2.5. Модуль обучали совместно на разнородных одномерных рядах GIFT-Eval, затем без дополнительной настройки переносили на TIME. Там PaCTS оказался единственным среди сравненных способов адаптации, который улучшил обе метрики относительно исходного Chronos-2; увеличение длины истории и методы, меняющие веса модели, такого результата не дали. Подсказки также проверили в многомерном прогнозировании, хотя обучали их только на одномерных рядах.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
