Журнал · Rit.work

Точный прогноз не гарантирует верной реакции на новые действия

Проверка моделей мира на новых ценовых планах показала, почему их нельзя выбирать только по точности прогноза и как отделить пользу правил от пользы самой модели.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Точность прогноза на привычных данных не показывает, как модель мира, которая предсказывает реакцию среды на действие, поведёт себя с незнакомыми действиями. Хотя препринт Karthik Iyer не рецензирован и все числа получил сам автор, коэффициент связи между качеством прогноза и точностью новых ценовых планов падал до −0,69: лучшая версия прогнозиста могла стать худшей моделью реакции. Значит, выбирать такую систему только по прогнозу исторического спроса рискованно.

Для проверки из обучения заранее исключили восемь ценовых и рекламных планов: более глубокие скидки, перенос акций на недели слабого спроса и длительные изменения обычной цены. В сгенерированных магазинах правильный ответ был известен, поэтому предсказанное изменение продаж можно было сравнить с истинным. Те же входные данные и правила дали модели мира, LightGBM и лог-линейной модели.

Дополнительное обучение модели распознавать эффект действий почти не помогло. Зато явное разделение обычной цены и временной скидки вместе с правилами реакции спроса снизило ошибку модели мира с 1,39 до 0,27 по метрике, где ноль означает точное изменение продаж. Правила запрещали продажам падать при углублении скидки и позволяли эффекту постепенно насыщаться.

Основную пользу дали именно правила, а не сложность модели. Когда форма спроса совпадала с заранее заданной кривой, лог-линейная модель работала лучше. Когда генератор использовал форму, которую правила не могли описать напрямую, модель мира опередила лог-линейную в 36 из 40 сценариев. На реальных данных правила также снизили ошибку для чистых глубоких скидок с 0,63 до 0,56 в Breakfast at the Frat.

Всего работа охватывает 2 853 обученные модели, сгенерированные магазины, три розничных набора данных и отдельный искусственный сценарий с дозировками. В реальных данных проверяли редкие действия, которые действительно происходили, а не неизвестные контрфактические результаты; исключённые планы с точным ответом доступны только в генераторах. Практическая рамка поэтому состоит из трёх шагов: заранее убрать важные действия из обучения, проверить их по известному ответу и дать те же ограничения простой базовой модели.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу