Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Базовую модель научили лучше решать длинные задачи по разработке кода в роли агента. Команда NVIDIA показала в препринте, который не прошёл рецензирование и содержит замеры самих авторов, рост Nemotron 3.5 Super в тесте длинных задач DeepSWE с 11,7 до 15,7 после одинакового SFT — обучения по готовым примерам. Для отбора базовых моделей этого недостаточно: проверять их стоит после короткого SFT, а не только по косвенным метрикам.
Между предварительным обучением базы и SFT добавили промежуточный этап. Модель читала контекст до 256 тысяч токенов: целые репозитории, истории коммитов, запросы на слияние, журналы сборки и записи пошаговой работы агентов с инструментами. Такие записи занимали 10% смеси; ответы инструментов исключали из функции потерь, чтобы модель училась выбирать действия, а не предсказывать содержимое файлов и журналов.
После 500 млрд токенов промежуточного обучения Nemotron 3.5 Lightning поднялся на SWE-bench Verified с 60,7 до 64,5, а на SWE-bench Multilingual — с 55,8 до 62,8. В обоих случаях контрольная и промежуточно обученная модели проходили одинаковый полный SFT. Траектории агентов дали большую часть прироста: одни только репозитории, изменения кода и журналы помогали заметно меньше.
Косвенные показатели базовой модели улучшались, но плохо предсказывали результат после SFT. Среди них были точность предсказания кода и LoCoDiff, который проверяет восстановление состояния файла по истории изменений. Поэтому варианты рецепта сравнивали после фиксированного короткого SFT: такой прогон ближе к конечному сценарию и лучше показывает, сохранится ли преимущество после настройки агента.
Рецепт проверили на двух размерах Nemotron, преимущественно на агентных задачах программирования и со специализированной смесью данных для SFT. Сравнения на бенчмарках выполняли отдельными прогонами, поэтому небольшие расхождения могут зависеть от случайности. Работа показывает перенос результата между двумя моделями одной семьи, но не между разными архитектурами.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
