Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ежегодный полный цикл предобучения оказался необязательным для финансовых моделей с зафиксированной датой отсечения. В нерецензированном препринте LG AI Research, где все числа получили сами авторы, небольшой адаптер улучшил сигнал у 40 из 44 проверенных версий моделей. Такой подход позволяет поддерживать одну базовую модель вместо ежегодного выпуска новой.
Модели с временным срезом используют в исторических проверках торговых стратегий, чтобы исключить смещение из-за заглядывания в будущее. Каждая версия читает только документы, опубликованные до известной даты. Обычно разработчики раз в год заново обучают модель на расширенном корпусе, хотя новая версия не показала преимуществ перед старой на одном и том же периоде оценки.
PALM добавляет к прежней модели низкоранговый адаптер и обучает только его на текстах между старой датой отсечения и датой принятия решения. Исходные веса остаются замороженными, поэтому обновление не требует нового полного цикла предобучения. В этом проходит граница с продолжением предобучения: оно меняет веса всей модели, а PALM хранит временные обновления в отдельном подключаемом модуле и в экспериментах показал лучший результат.
Средний информационный коэффициент вырос на 16% — с 0,00783 до 0,00909. Эта метрика показывает, насколько порядок активов по оценке модели совпадает с порядком их доходности на следующей торговой сессии. Десятая часть доступного корпуса, взятая ближе всего к дате решения, дала четыре пятых улучшения от полного корпуса: для обновления важнее свежесть текста, чем его объём.
Метод проверили на 252 тысячах наблюдений по финансовым новостям, 1 099 американских тикерах и трёх семействах моделей размером от 1,3 до 4,2 млрд параметров. Работа охватывает один класс активов, прогноз на следующую сессию и один способ превращать оценки модели в позиции, поэтому результат пока обосновывает замену ежегодного обучения именно в таком сценарии, а не для любых временных данных.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
