Почему хорошей задачи недостаточно для самообучения LLM

Удачно выбранная учебная задача не гарантирует, что самообучающаяся LLM станет лучше после обновления. В нерецензированном препринте MBZUAI, где все числа получили сами авторы, HeirCommit сократил долю вредных принятых обновлений на 68–83% по сравнению со случайным выбором при той же частоте принятия. Значит, в цикл самообучения стоит закладывать отдельную проверку новой версии, а не полагаться на качество выбранных задач.

В таких циклах модель сама составляет задачи, решает их и обучается на полученных ответах. R-Zero, Agent0 и Skill Self-Play сначала отбирают задачи, которые выглядят подходящими для обучения, а затем сохраняют каждое обновление. Проверка показала, что даже корректная и посильная задача часто не делает правильный ответ более вероятным после обучения.

HeirCommit оценивает уже обученную версию на свежем наборе вопросов, который не использовали для отбора задач и кандидатов. Если новая версия не обходит исходную, система возвращает прежние параметры и состояние обучения. Такой порядок отделяет два разных решения: чему учить модель и стоит ли сохранять результат этого обучения.

EvoHeir добавляет второй уровень. Система отдельно выбирает параметры для следующего раунда и опыт, который попадёт в архив. Решения от отклонённой версии можно позднее использовать для исправления ошибок другой модели, не наследуя саму неудачную версию. На задачах по математике EvoHeir обошёл сильнейшую базовую схему Agent0 в среднем на 5,3%.

HeirCommit проверяли на обновлениях трёх контуров самообучения, а полный EvoHeir — с Qwen3-4B-Base, Qwen3-8B-Base, OLMo-3-7B и Gemma-4-E4B-it на математике и общих рассуждениях. Один полный раунд занимал 8–9 часов на двух GPU с 96 ГБ памяти каждый. Для продуктового контура это означает дополнительный вычислительный бюджет, но он покупает контроль над накоплением ошибок между раундами.

Источники

• Selection Is Not Learning: Choosing Model Futures