Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Автоматическая система предложила, реализовала и проверила изменения промышленного поискового ранжировщика. В препринте Meta, который не прошёл рецензирование и содержит замеры самих авторов, лучший вариант увеличил число поисковых сессий на 0,23% в A/B-тесте. Для таких проектов одной сильной LLM недостаточно: результат определяет весь цикл экспериментов вокруг неё.
Инженеры задавали цель, направляли поиск и проверяли итоговую модель, а агент менял код, запускал обучение и решал, сохранить ли результат. Во второй версии одновременно проверяли семь вариантов, записывали неудачные направления в отдельный список и не передавали агенту всю историю подряд. Кандидатов оценивали по нормализованной энтропии — мере ошибки вероятностного прогноза, где меньшее значение лучше; веса метрики подобрали по связи с поведением пользователей.
За 31 день агент завершил 1 097 кандидатных экспериментов и принял 29,6% из них против 15,6% у первой версии. Доля неправильно оформленных изменений снизилась с 33,8% до 0,8%. Это сравнение не изолирует влияние каждого решения: между кампаниями изменились и цель, и доступный масштаб поиска. Итоговая модель улучшила основную метрику A/B-теста статистически значимо, но одновременно ухудшила задержку показа — агент оптимизировал качество и сам не учитывал этот компромисс.
Главную кампанию провели на одном многозадачном ранжировщике подсказок для платформы с более чем миллиардом запросов в день. Базовую LLM во время кампании не меняли и с другими моделями не сравнивали, поэтому работа показывает эффект настройки цикла, а не преимущество конкретной LLM. Лучший вариант появился до конца кампании, после чего прогресс остановился: дополнительные вычисления не заменили расширение пространства гипотез и вмешательство инженера.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



