AlphaBet обучает прогнозиста искать факты и пересчитывать вероятности

LLM-агента научили самостоятельно искать сведения и пересчитывать вероятности по одному событию в разные моменты до его завершения. Хотя препринт не рецензирован, а числа получили сами авторы, работа Amazon и Georgia Institute of Technology показывает снижение оценки Brier примерно на 14% на двух наборах задач. Схема охватывает весь цикл прогноза, поэтому поиск нельзя заменить заранее подготовленной подборкой документов без изменения самой задачи.

Один исход даёт несколько обучающих сигналов

Обычное обучение прогнозистов начинается с готового набора сведений на выбранную дату. Модель получает контекст, рассуждает и назначает вероятности исходам. Такой подход учит работать с уже найденными фактами, но не учит решать, что искать и какие источники читать.

AlphaBet возвращает поиск внутрь обучаемой стратегии. Для каждого события система задаёт несколько дат до его завершения. На каждой дате агент видит только материалы, которые к тому моменту уже появились, затем использует поиск, читает найденные статьи, запускает вычисления и выдаёт распределение вероятностей по возможным исходам.

Когда событие завершается, один фактический исход оценивает все сделанные ранее прогнозы. Для этого применяется оценка Brier: она штрафует не только неверно выбранный исход, но и плохо назначенные вероятности. Например, два агента могут выбрать один вариант, однако прогнозы с вероятностями 55% и 95% получат разные оценки.

Авторы разделяют ошибку на две части. Первая возникает, когда агент не нашёл сведения, доступные на дату прогноза. Вторая — когда он нашёл полезные факты, но неверно перевёл их в вероятности. Обучающий сигнал охватывает обе части сразу: стратегия может улучшить как поиск, так и итоговый отчёт.

Память между датами необязательна. В одном варианте агент каждый раз начинает заново, в другом переносит записку со своей текущей оценкой, аргументами и открытыми вопросами. При этом обучение начисляет награду отдельно за каждую дату: ранние записи не получают прямой сигнал за то, как они повлияли на более поздний прогноз.

Почему из GRPO убрали деление на стандартное отклонение

AlphaBet обучают через GRPO: для одной задачи запускают группу траекторий и сравнивают их награды. В стандартной версии алгоритм вычитает среднюю награду группы, а затем делит результат на стандартное отклонение. Вторую операцию авторы убрали.

Причина связана с вероятностным прогнозом. Масштаб разброса наград зависит от того, какой исход в итоге наступил. Деление на него может по-разному перевзвесить классы и сдвинуть цель: модель будет учиться выдавать не то распределение вероятностей, которое лучше всего соответствует доступным сведениям.

Вычитание среднего такого сдвига не создаёт: при фиксированном контексте оно сохраняет ожидаемое направление обновления. Это теоретический результат для локального шага обучения и оценки прогноза, а не доказательство правильной калибровки всего агента.

Эксперимент подтверждает различие. Нормализация по стандартному отклонению ухудшила качество вероятностей, хотя точность выбора самого вероятного исхода почти не изменилась. Если следить только за долей угаданных исходов, этот дефект можно не заметить.

Работа меняет схему обучения, но не выбор базовой модели

На Forecast-Dojo оценка Brier снизилась с 0,731 до 0,626. На FutureX относительное снижение оказалось близким — около 14%. Точность выбора наиболее вероятного исхода выросла соответственно на 8,9 и 6,6 процентного пункта, поэтому выигрыш не сводится к более осторожной расстановке вероятностей.

Контрольные эксперименты показали, что обучение по нескольким датам работает лучше обучения по одной дате. Замена найденных сведений между вариантами агента также связала улучшение и с поиском, и с переводом прочитанного в вероятности. Это соответствует заявленной структуре ошибки, хотя не позволяет считать вклад двух частей одинаковым для любой предметной области.

Проверка ограничена GLM-4.5-Air, Forecast-Dojo и FutureX. Обучающая часть Forecast-Dojo включала 1 028 завершившихся событий, развёрнутых в 3 965 задач на отдельных датах; поиск шёл по датированному корпусу CC-News. Поэтому результат обосновывает архитектуру обучения, но не фиксированный размер выигрыша для другой модели, базы документов или типа событий.

Для команды, которая строит прогнозного агента, меняется прежде всего подготовка данных. Вместо одной подборки документов на событие нужны снимки доступной информации по датам, неизменное правило определения исхода и возможность воспроизвести поиск без материалов из будущего.

Практическая схема выглядит так:

1. задать взаимоисключающие исходы и правило, по которому событие будет закрыто;
2. назначить даты прогнозов и ограничить поиск материалами, доступными к каждой дате;
3. дать одной стратегии инструменты поиска, чтения и вычислений;
4. оценить каждый прогноз после завершения события одной и той же корректной вероятностной мерой;
5. при использовании GRPO оставить вычитание среднего, но проверить необходимость нормализации масштаба наград.

Если продукт уже обучает модель только на готовых подборках, AlphaBet предлагает пересмотреть границу обучаемой системы: качество поиска становится частью целевой функции. Если поиск остаётся внешним и неизменяемым модулем, работа не требует срочной замены базовой LLM, но даёт способ отдельно проверить, где теряется качество — при сборе фактов или при назначении вероятностей.

Источники

• AlphaBet: Reinforcement Learning for LLM Event Forecasting Agents