Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Meta испытала AIRA₃, автономную систему для исследований ИИ, в конкурсе Kaggle от NVIDIA по дообучению Nemotron на 30 млрд параметров. Система заняла 8-е место примерно среди 4 000 команд и получила золотую медаль: автоматизация уже может конкурировать с экспертами в узкой задаче, но один конкурс не доказывает, что она заменит исследовательскую команду.
Участники должны были улучшить способность модели рассуждать. Все получили одинаковую информацию, а решения оценивали внешние организаторы на закрытом тестовом наборе. Команды не знали правильных ответов заранее и не могли напрямую подогнать под них модель, поэтому результат лучше отражает качество выбранного способа дообучения.
AIRA₃ также обошла участников, которые применяли те же современные инструменты. Это подтверждает, что автономная система способна подобрать рабочую процедуру для конкретной модели, цели и метрики на уровне сильных специалистов.
Для продуктовых планов результат служит аргументом в пользу автоматизации ограниченных экспериментов, где качество можно проверить числом. Переносить вывод на другие модели, задачи и рабочие процессы пока нельзя: в посте описан только один конкурс.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
