Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Разнообразие среды влияет на обучение ИИ-агента сильнее, чем новые задания или повторные попытки: два запуска с одинаковым числом токенов и объёмом вычислений разошлись на 14 процентных пунктов успешности. Хотя препринт не рецензирован и все числа получили сами авторы, работа MBZUAI, McGill University, CityUHK и Columbia University предлагает практический способ распределять бюджет между разными видами агентных данных. Для команд это означает, что привычное увеличение числа траекторий может оказаться худшей покупкой.
Как агентные данные разделили на независимые оси
При обычном предобучении объём данных часто сводят к числу токенов. Для агента этого недостаточно: один обучающий пример одновременно содержит задание, среду, последовательность действий и сигнал награды.
Авторы выделили три оси. Задание задаёт цель, например исправить ошибку в репозитории. Среда определяет доступные инструменты, API, состояние и правила перехода между состояниями. Траектория — это одна попытка выполнить уже выбранное задание в уже выбранной среде.
Плотность награды учитывали отдельно. Редкая награда сообщает только итог, а плотная даёт проверяемые промежуточные сигналы. Она помогает извлечь больше пользы из траекторий, но не создаёт новые задания или среды.
Чтобы сравнить оси, исследователи увеличивали одну из них, а остальные удерживали на заранее выбранном уровне. Затем измеряли успешность на отложенных заданиях или мирах и подбирали степенную зависимость: её показатель описывает, как быстро улучшается результат при росте конкретного вида данных.
Проверка охватила модели семейства Qwen3 разных размеров, а также другие семейства, алгоритмы GRPO и PPO. Эксперименты включали математику и код, работу с репозиториями, браузером, пользовательскими интерфейсами, инструментами и поиском. Поэтому основной вывод повторился в разных условиях, хотя сами коэффициенты остаются привязаны к конкретным моделям, генераторам и стоимости обучения.
Новый мир полезнее ещё одной попытки
На Qwen3-8B в задачах по математике и коду показатель масштабирования составил 0,41 для сред, 0,26 для заданий и 0,11 для траекторий. Чем выше показатель, тем дольше сохраняется отдача от добавления данных. Повторные попытки на знакомой паре «задание — среда» быстрее упираются в убывающую пользу.
Среда при этом неоднородна. Можно изменить структуру инструментов и состояние внутри знакомого приложения, а можно добавить новый мир: другой репозиторий, сайт, корпус или приложение. Основную прибавку давали именно новые миры. Структурные варианты среды оказались сопоставимы с новыми заданиями.
Эти оси зависят друг от друга. Когда набор сред мал, дополнительные задания почти перестают помогать: агент видит новые цели, но решает их через прежние интерфейсы и правила. Поэтому генератор заданий не компенсирует узкий набор приложений, сайтов или репозиториев.
Для синтетических данных работа вводит скидку качества: автоматически созданный пример пересчитывают в эквивалент реального. Среды выдерживали примерно 9,4 синтетического примера на один реальный до начала ухудшения, а траектории — около 1,4. Повторные ответы самой модели быстрее замыкают обучение на её текущих ошибках, тогда как среду сильнее ограничивают внешние правила, состояние и проверка результата.
Когда выводы меняют план разработки
Работа меняет план команды, если бюджет агентного обучения сейчас считают через число запусков модели или токенов. Вместо одного счётчика нужен реестр по трём осям: сколько уникальных целей покрыто, в скольких независимых мирах агент работает и сколько попыток приходится на уже знакомую комбинацию.
Следующий шаг — посчитать стоимость единицы на каждой оси. Задание может стоить одного вызова модели, а новая среда требует работающего интерфейса, состояния и проверяющего механизма. Поэтому высокий показатель масштабирования не означает, что среды всегда выгоднее: дорогой репозиторий с настроенным стендом может уступить пакету заданий внутри уже готового мира.
Оптимизация с учётом этих затрат рекомендует быстрее расширять среды, затем задания и только потом число траекторий. На отложенном масштабе такое распределение обошло стратегию с упором на повторные попытки на 8,4 процентного пункта и дало до 1,7 раза больше вычислительной эффективности — то есть достигло сопоставимого качества при меньшем объёме вычислений.
Практический пилот можно провести без перестройки всей платформы. Команда фиксирует общий бюджет, сравнивает добавление нового мира, пакета заданий и повторных запусков, а затем строит собственные кривые успешности. Если новые траектории уже дают слабую прибавку, бюджет стоит направить на независимые репозитории, приложения или конфигурации инструментов, а не на очередное увеличение группы запусков.
Предложенную формулу нельзя переносить как универсальную пропорцию: проверка охватила средние открытые модели и конкретные генераторы. Но порядок действий применим шире — сначала разделить данные, затем оценить качество синтетики и лишь после этого оптимизировать расходы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
