Журнал · Rit.work

LLM-агент Meta довёл изменения ранжировщика до A/B-теста

Агент менял код поискового ранжировщика, обучал варианты параллельно и отбирал улучшения, но результат зависел от метрики, памяти экспериментов и контроля инженеров.

Rit.work
Студия разработки
19 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Автоматическая система предложила, реализовала и проверила изменения промышленного поискового ранжировщика. В препринте Meta, который не прошёл рецензирование и содержит замеры самих авторов, лучший вариант увеличил число поисковых сессий на 0,23% в A/B-тесте. Для таких проектов одной сильной LLM недостаточно: результат определяет весь цикл экспериментов вокруг неё.

Инженеры задавали цель, направляли поиск и проверяли итоговую модель, а агент менял код, запускал обучение и решал, сохранить ли результат. Во второй версии одновременно проверяли семь вариантов, записывали неудачные направления в отдельный список и не передавали агенту всю историю подряд. Кандидатов оценивали по нормализованной энтропии — мере ошибки вероятностного прогноза, где меньшее значение лучше; веса метрики подобрали по связи с поведением пользователей.

За 31 день агент завершил 1 097 кандидатных экспериментов и принял 29,6% из них против 15,6% у первой версии. Доля неправильно оформленных изменений снизилась с 33,8% до 0,8%. Это сравнение не изолирует влияние каждого решения: между кампаниями изменились и цель, и доступный масштаб поиска. Итоговая модель улучшила основную метрику A/B-теста статистически значимо, но одновременно ухудшила задержку показа — агент оптимизировал качество и сам не учитывал этот компромисс.

Главную кампанию провели на одном многозадачном ранжировщике подсказок для платформы с более чем миллиардом запросов в день. Базовую LLM во время кампании не меняли и с другими моделями не сравнивали, поэтому работа показывает эффект настройки цикла, а не преимущество конкретной LLM. Лучший вариант появился до конца кампании, после чего прогресс остановился: дополнительные вычисления не заменили расширение пространства гипотез и вмешательство инженера.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу