Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агента научили самостоятельно вести длинную серию экспериментов по машинному обучению: менять код, анализировать результат и выбирать следующий шаг без заранее заданного сценария. В препринте Shanghai Artificial Intelligence Laboratory и East China Normal University, который не прошёл рецензирование и содержит замеры самих авторов, MLExpert почти удвоил долю успешных задач относительно базовой модели. Работа показывает, как разделить подготовку среды, обучение на демонстрациях и обучение по результатам запусков.
Агент сам выбирает ветку эксперимента, но работает внутри жёсткой среды
MLExpert — модель на 35 млрд параметров со смесью экспертов. Она получает описание задачи, данные и метрику, после чего строит полный конвейер: готовит признаки, обучает модель, проверяет её на собственной валидации и сохраняет кандидата для итоговой оценки.
Авторы отказались от сценария, где внешняя программа заранее задаёт порядок действий: сначала анализ данных, затем выбор модели, затем настройка параметров. MLExpert сам решает, продолжать ли текущую ветку, вернуться к прошлому решению или проверить другую гипотезу.
Свобода модели не означает, что вся система помещается в один запрос. Внешняя среда хранит код, журналы выполнения, результаты и связи между версиями решения. Получается дерево экспериментов, к которому агент обращается через инструменты анализа, изменения кода, запуска и выбора итогового кандидата.
Когда история перестаёт помещаться в контекст, среда сжимает ранние сообщения, но оставляет недавние действия. Для сложного анализа основной агент может вызвать отдельного агента, который изучит данные или разберёт ошибку и вернёт краткое резюме. Подозрительные результаты можно пометить недействительными, чтобы утечка целевой переменной или переобучение не определили дальнейший ход работы.
Задачи готовит Kaggle-MLE Factory. Она преобразует исторические соревнования Kaggle в исполняемые пакеты с рабочими данными, скрытой тестовой частью и единым интерфейсом оценки. Несколько агентов разбирают структуру данных, создают проверяющий код и исправляют пакет, после чего задачи с нерешёнными проблемами отсеивают вручную.
Награда относится не к одному ответу, а к окну решений
Обучение разделено на два этапа. Сначала идёт дообучение с учителем (SFT): модель осваивает инструменты и изменение кода на общих задачах, а затем учится проектировать и улучшать эксперименты на траекториях из машинного обучения и научных задач.
В длинной траектории полезные решения перемешаны с тупиковыми. Поэтому в обучающую выборку не переносят весь журнал автоматически. Если агент сначала нашёл сильное решение, а затем ухудшил его, данные обрезают возле лучшей версии; при этом сохраняют предшествующие неудачи и восстановление после них, если они привели к результату.
Следом модель обучают с подкреплением методом WIRL. Окном считается последовательность действий между двумя завершёнными экспериментами: анализ результата, изменение программы, вызовы инструментов и новый запуск. Все действия внутри окна получают общую награду за итог эксперимента.
Награда учитывает три сигнала: выполнился ли код, достигло ли решение медального порога задачи и улучшилось ли оно относительно последнего корректного кандидата. Это связывает отложенный результат не с последней командой, а со всей цепочкой решений, которая к нему привела.
Окна собираются асинхронно: обучение не ждёт, пока закончится вся многочасовая траектория. За это время параметры модели могут измениться, поэтому WIRL сравнивает вероятности токенов при сборе данных и при текущем обновлении. Слишком устаревшие токены исключаются, остальные получают поправочный вес. Так модель использует промежуточный результат, не смешивая без контроля решения от заметно разных версий политики.
Планы стоит менять там, где результат эксперимента можно проверить автоматически
Основной тест прошёл на MLE-Bench Lite — наборе из 22 исторических задач Kaggle. На каждую задачу агенту давали до 12 часов работы и одну NVIDIA H200; итог проверяли по скрытым меткам. Главная метрика показывает долю задач, где решение достигло порога бронзовой, серебряной или золотой медали.
У базовой модели эта доля составила 37,9%, у MLExpert — 72,7%. Версия после обучения только на демонстрациях получила 62,1%, поэтому заметная часть прибавки пришлась на обучение по собственным запускам. Обычные варианты, которые назначали награду всей траектории, уступили даже версии после SFT; отключение локального сигнала прогресса или поправки политики также ухудшало результат.
Подход проверяли не только на полном конвейере машинного обучения. Модель улучшала каркасы агентов, отдельные алгоритмические компоненты и решения из NatureBench Lite. Эти тесты показывают перенос навыка итеративной оптимизации, но остаются задачами с исполняемым результатом и формальной метрикой.
Для команды практический вывод состоит не в том, чтобы убрать внешний оркестратор. MLExpert всё равно опирается на хранилище состояния, изолированный запуск кода, проверяющий модуль и управление контекстом. Меняется граница ответственности: инфраструктура обеспечивает воспроизводимость и безопасность, а модель выбирает направление следующего эксперимента.
Такая схема подходит продуктам, где промежуточный запуск даёт проверяемый численный результат: подбору моделей, оптимизации алгоритмов и автоматической настройке конвейеров. Если качество шага нельзя оценить автоматически, WIRL не получает надёжной награды, а значит, ключевое преимущество метода исчезает. До внедрения потребуется не только модель, но и фабрика задач, стабильная среда исполнения и история экспериментов, пригодная для обучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
