Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
ИИ-агенты пока не умеют надёжно воспроизводить результаты ML-статей даже с готовыми материалами. В препринте University of Illinois Urbana-Champaign, который не прошёл рецензирование, авторы получили лучший результат лишь на 41% задач при наличии кода, данных и весов. Использовать такого агента как самостоятельного проверяющего пока рискованно: человек должен контролировать не только итог, но и ход эксперимента.
Для бенчмарка RECLAIM выбрали 100 статей NeurIPS 2025. Для каждой заранее зафиксировали центральный результат, допустимое отклонение и бюджет GPU. Агент получал текст статьи и опубликованные вместе с ней материалы, после чего сам настраивал окружение, исправлял ошибки и запускал эксперимент. Отдельная модель-оценщик проверяла журналы и результаты выполнения, а не отчёт самого агента.
Задачи разделили по составу доступных материалов. Если не было весов, агент обучал модель и воспроизводил результат в 27% случаев. Если не было кода, он реализовывал метод по статье и справлялся лишь с 15%. Доступ к исходным материалам снижал сложность, но не гарантировал, что агент замкнёт цикл от реализации до проверки числа.
В 63 из 400 запусков агент реализовал метод, но не сравнил ни один полученный результат с числами из статьи. Неудачные попытки в среднем тратили 29% выделенного бюджета, поэтому большинство завершалось не из-за нехватки вычислений. Агенты рано принимали промежуточный результат за достаточный или останавливались после настройки части конвейера.
На каждой статье каждого из четырёх агентов запускали один раз. Целью служил самый дешёвый эксперимент, который всё ещё подтверждал центральный вывод работы, а вычислительный бюджет задавали заранее. Эти результаты описывают воспроизведение конкретных экспериментов из недавних статей, а не самостоятельный выбор исследовательской задачи.
Источники
Иллюстрация: рисунок из статьи «RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers?», Mithil Salunkhe, Haochen Ding, Samridhi Verma и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
