Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модель, обученная на потоке биржевых заявок, научилась восстанавливать скрытый рыночный режим и предсказывать следующее событие почти как оптимальный алгоритм. Хотя препринт J.P. Morgan QTR AI Research не прошёл рецензирование и все числа в нём получили сами авторы, на простейшем симуляторе разрыв с точным байесовским прогнозом составил 0,00034 ната на токен — меньше одной тысячной единицы информационной ошибки. Для разработки таких моделей это смещает приоритет с размера корпуса на разнообразие режимов, которые воспроизводит симулятор.
Из потока заявок модель восстанавливает скрытое состояние рынка
На реальном рынке неизвестно, какой процесс породил конкретную последовательность заявок. Поэтому генеративную модель обычно оценивают косвенно: сравнивают распределения, волатильность, спреды и другие свойства с историческими данными. Реалистичный результат ещё не доказывает, что модель распознала состояние рынка, а не воспроизвела поверхностные закономерности.
В эксперименте генератор был известен. Потоки проходили через единый механизм книги лимитных заявок (LOB) с приоритетом цены и времени. Каждое сообщение разбивали на токены типа события, цены, объёма и задержки, а модель получала окно из 512 сообщений.
Проверка охватила четыре семейства симуляторов: независимый поток, самовозбуждающийся процесс, рынок с несколькими типами агентов и нестационарный поток с тяжёлыми хвостами. Размер моделей менялся от десятков тысяч до десятков миллионов параметров. Такая схема позволила сравнить прогноз не только с тестовой выборкой, но и с точным распределением, которое следует из состояния симулятора.
Результат можно трактовать как приближённый байесовский вывод. По наблюдаемой истории модель оценивает, какой режим сейчас действует, и усредняет прогнозы с учётом этой оценки. Обучение выполняет дорогую часть заранее, поэтому для нового потока не нужно отдельно подбирать параметры или запускать процедуру оптимизации.
Это сохранилось и там, где скрытое состояние менялось внутри эпизода. Модель не просто определяла один режим для всей последовательности, а обновляла его оценку по мере поступления заявок. Из замороженных внутренних представлений также удалось линейно восстановить параметры симулятора: для параметров самовозбуждающегося процесса ошибка оказалась в 2,7–4,5 раза ниже, чем у метода максимального правдоподобия по скользящему окну.
Разнообразие режимов оказалось важнее числа токенов
Рост модели и корпуса быстро переставал улучшать прогноз. Даже модели примерно со 100 тысячами параметров приближались к энтропийному пределу — ошибке, которую нельзя устранить, поскольку часть следующего события случайна по устройству симулятора. Поэтому небольшая разница в средней ошибке между более крупными моделями сама по себе плохо показывает, чему они научились.
Иначе повело себя разнообразие обучающих режимов. При фиксированном объёме токенов модель, видевшая один режим, запоминала его и получала на новых режимах ошибку 3,57 ната на токен. Когда обучение охватывало 256 режимов, ошибка снизилась до 1,34 ната и сравнялась с вариантом, где параметры генератора обновлялись для каждого эпизода.
Практический ресурс здесь — не повторные события из одного и того же распределения, а покрытие возможных состояний рынка. Дополнительные токены полезны, пока добавляют режимы, типы участников, интенсивности, размеры заявок и формы нестационарности. Повторение уже освоенной динамики даёт меньше, даже если формально увеличивает обучающий корпус.
Планы стоит менять на уровне симулятора и проверки переноса
Команде, которая строит базовую модель рыночной микроструктуры, не стоит начинать с максимального числа параметров. Сначала полезнее определить пространство режимов, сформировать априорное распределение симулятора — набор сценариев, из которых он выбирает при генерации, — и проверить перенос на режимы, исключённые из обучения.
Синтетическое предобучение перенеслось на реальные потоки NASDAQ только тогда, когда симулятор охватил свойства реальных заявок. Добавление нестационарности, всплесков активности и тяжёлого хвоста объёмов снизило ошибку прогноза размера заявки с 1,60 до 0,91 ната. После такого предобучения модель также превосходила обучение с нуля при каждом проверенном объёме реальных данных.
Внутреннее представление можно использовать как дешёвый калибратор симулятора. Линейный слой поверх замороженной модели оценивает его параметры без повторного обучения всей сети. Разложение ошибки по полям сообщения показывает, чего не хватает генератору: например, модель может верно размещать цены, но ошибаться в объёмах или задержках.
Работа проверяет этот подход на упрощённых симуляторах, нескольких тикерах и одной торговой сессии. Она показывает, что модель способна выполнять такой вывод, но не доказывает, что у реального рынка существует столь же однозначный скрытый режим. Генерация с обратной связью также оказалась слабее прогноза следующего события: в агентном симуляторе небольшие ошибки накапливались и искажали спред.
Поэтому планы меняются не в сторону немедленной замены рыночных моделей трансформером. Более обоснованный шаг — использовать синтетическое предобучение как начальную точку, измерять покрытие режимов и отдельно проверять прогноз, калибровку и поведение модели внутри замкнутого симулятора.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
