Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Результат полного обучения рекомендательной модели научились предсказывать по коротким и уменьшенным запускам. В препринте команды Meta, который не прошёл рецензирование и содержит замеры самих авторов, подход сократил вычисления на 79–88% и сохранил порядок гипотез с эффектом выше шума. Такой фильтр позволяет отсеивать слабые изменения до дорогого полного обучения, но не заменяет контрольный запуск выбранных кандидатов.
Predictable Scaling уменьшает объём данных, число признаков, размеры скрытых слоёв и другие части модели, причём способы можно сочетать. Для каждой гипотезы система измеряет не абсолютное качество, а разницу с базовой моделью. Затем она переносит эту разницу на полный масштаб напрямую, с помощью линейной модели или гауссовского процесса, который учитывает форму кривой обучения и оценивает неопределённость прогноза.
На специализированной модели гауссовский процесс снизил среднюю абсолютную ошибку на 15% относительно прямого переноса результата. На более сложной базовой модели выигрыш составил 57–67% для двух задач прогнозирования кликов. Среди гипотез, чей эффект превышал разброс повторных одинаковых запусков, подход сохранил правильный порядок: команда могла сначала проверить наиболее перспективные изменения.
Метод проверяли на двух промышленных моделях ранжирования: специализированной и базовой, которая требовала примерно в 35 раз больше операций. В тест вошли 14 гипотез для первой модели и 7 для второй; дополнительную проверку провели на открытом датасете Criteo с четырьмя моделями. В каждом опыте прогноз строили по одному уменьшенному масштабу, поэтому результат прежде всего относится к отбору изменений при стабильном обучении и эффектах крупнее обычного шума.
Источники
Иллюстрация: рисунок из статьи «Predictable Scaling: Efficient Model Exploration via Scaling-Law Prediction», Aishwarya Wesanekar, Sheng-Tao Yang, Jiawei Zhang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
