Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Точность прогноза на привычных данных не показывает, как модель мира, которая предсказывает реакцию среды на действие, поведёт себя с незнакомыми действиями. Хотя препринт Karthik Iyer не рецензирован и все числа получил сам автор, коэффициент связи между качеством прогноза и точностью новых ценовых планов падал до −0,69: лучшая версия прогнозиста могла стать худшей моделью реакции. Значит, выбирать такую систему только по прогнозу исторического спроса рискованно.
Для проверки из обучения заранее исключили восемь ценовых и рекламных планов: более глубокие скидки, перенос акций на недели слабого спроса и длительные изменения обычной цены. В сгенерированных магазинах правильный ответ был известен, поэтому предсказанное изменение продаж можно было сравнить с истинным. Те же входные данные и правила дали модели мира, LightGBM и лог-линейной модели.
Дополнительное обучение модели распознавать эффект действий почти не помогло. Зато явное разделение обычной цены и временной скидки вместе с правилами реакции спроса снизило ошибку модели мира с 1,39 до 0,27 по метрике, где ноль означает точное изменение продаж. Правила запрещали продажам падать при углублении скидки и позволяли эффекту постепенно насыщаться.
Основную пользу дали именно правила, а не сложность модели. Когда форма спроса совпадала с заранее заданной кривой, лог-линейная модель работала лучше. Когда генератор использовал форму, которую правила не могли описать напрямую, модель мира опередила лог-линейную в 36 из 40 сценариев. На реальных данных правила также снизили ошибку для чистых глубоких скидок с 0,63 до 0,56 в Breakfast at the Frat.
Всего работа охватывает 2 853 обученные модели, сгенерированные магазины, три розничных набора данных и отдельный искусственный сценарий с дозировками. В реальных данных проверяли редкие действия, которые действительно происходили, а не неизвестные контрфактические результаты; исключённые планы с точным ответом доступны только в генераторах. Практическая рамка поэтому состоит из трёх шагов: заранее убрать важные действия из обучения, проверить их по известному ответу и дать те же ограничения простой базовой модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



