Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM научили выбирать изменения, которые улучшают другие языковые модели. Хотя препринт не рецензирован и все замеры провели сами авторы, обученная через LM2LM модель Qwen3.8-27B обошла GPT-6-sol при стоимости сбора обучающих данных на 33% ниже. Подход позволяет проверять реальным обучением только часть идей, а остальные оценивать прогнозом.
Обычное обучение с подкреплением здесь слишком дорого: каждое предложение нужно реализовать, затем обучить целевую модель и измерить изменение ошибки. Полная проверка кандидатов в приведённой авторами конфигурации стоила бы более $16 млн. LM2LM вместо этого использует замороженную LLM, которая читает записи о прошлых экспериментах и прогнозирует, как очередная идея изменит ошибку на проверочных данных.
На прогнозах обучают модель, которая предлагает изменения архитектуры, функции потерь и оптимизации. Но оценщик постепенно сталкивается с идеями, непохожими на исходные записи, и начинает завышать их пользу. Поэтому LM2LM периодически запускает лучшие предложения текущей версии модели, измеряет реальный результат и добавляет его в контекст оценщика.
Без такой калибровки точность попарного ранжирования — способность выбрать лучший из двух вариантов — упала с 72 до 37%, то есть ниже случайного выбора. С периодическими реальными запусками она сохранилась на уровне 61%. Это показывает, зачем суррогатную оценку нужно обновлять именно на предложениях, которые научилась генерировать модель.
Метод проверили на восьми средах разработки авторегрессионных и диффузионных моделей, включая OLMo-3, Qwen3, NanoChat и Marin. Целевые модели каждый раз обучали с нуля, а итоговые предложения проверяли на отложенных задачах реальными запусками. Работа охватывает выбор отдельных изменений, а не длинные автономные исследовательские кампании.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
