LLM выдают известные факты за прогнозы в финансовых тестах

LLM не умеют надёжно отличать известный им исторический результат от настоящего прогноза в финансовой проверке на прошлых данных. В препринте о FinDendro, где все числа получили сами авторы и работа ещё не прошла рецензирование, GPT-5 правильно выбрал 76% ответов, но признал знание лишь в 38% случаев. Поэтому заявленная граница обучающих данных, самоотчёт модели и просьба отвечать из прошлого не подтверждают, что тест свободен от утечки будущего.

FinDendro включает 2 226 датированных фактов о США за 1999–2026 годы: макроэкономические показатели, цены акций на конец месяца и решения Федеральной резервной системы. Модель просили выбрать правильное значение, затем — указать, знает она ответ или угадывает. Отдельный вариант предписывал считать текущей конкретную историческую дату.

Авторы исключили факты, где достаточно повторить значение предыдущего месяца, и скорректировали перекос в частоте решений регулятора. Даже после этого GPT-5 правильно ответил на 61% вопросов, про которые заявил, что ответа не знает. Значит, фильтр по самоотчёту оставляет в выборке факты, запомненные при обучении.

Указание исторической даты изменило формулировку ответа, но не доступное модели знание. Доля признаний «я уже знаю результат» упала с 39% до 1%, тогда как точность почти не изменилась. Инструкция заставила модель назвать воспоминание прогнозом, а не забыть результат.

Проверка охватила передовые LLM, небольшие открытые модели и модели, обученные на данных до заданного момента. У некоторых из них заявления о знании продолжались на семь кварталов дольше измеренной границы фактических знаний. Для финансовой исторической проверки из этого следует практическое правило: границу нужно измерять на датированных фактах из нужной предметной области, выбирать период после неё и повторять замер при обновлении модели.

Источники

• LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting