Журнал · Rit.work

RSI-Prime учит LLM тренировать другие модели на истории экспериментов

RSI-Prime превращает полные эксперименты по постобучению в учебные данные и исключает из обучения сообщения, связанные с неудачными решениями.

Rit.work
Студия разработки
18 ноября 2026 г.4 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

LLM научили лучше проводить постобучение других моделей: выбирать данные, запускать эксперименты и менять стратегию по результатам проверки. В работе Sun Yat-sen University, Mind Lab, Chongqing University и Harbin Institute of Technology общая оценка GLM-5.3 выросла на 31,95% относительно исходной модели, хотя препринт не рецензирован и все числа получили сами авторы. Для команд, которые автоматизируют донастройку моделей, работа предлагает практическую схему подготовки данных: сохранять весь эксперимент, но обучать агента только на качественных решениях.

Как эксперименты превратили в учебные траектории

Набор RSI-Prime состоит из 350 полных траекторий по семи категориям задач: от математики и программирования до работы с инструментами, текстом и инструкциями. Траектория включает исходный план, подготовку данных, обучение целевой модели, оценку результата и последующие попытки скорректировать подход.

Перед сбором траекторий авторы приводили задачи к общему интерфейсу и проверяли протокол оценки, функцию подсчёта результата и запуск на реальном вычислительном узле. Это нужно, чтобы агент не учился на ложной обратной связи из-за неверных настроек генерации, несовместимого оценщика или сломанного окружения.

Во время эксперимента отдельный контроллер следил за выполнением и продолжал прерванные запуски. При восстановлении сохранялись исходная сессия, созданные файлы и уже потраченное время, поэтому перезапуск не обнулял бюджет и не превращался в новый эксперимент.

В набор попадали траектории, которые соблюдали протокол и заметно улучшали целевую модель. Порог зависел от разрыва между базовой моделью и эталонной версией, дообученной на инструкциях: результат агента должен был закрыть больше половины этого разрыва.

Итоговую систему проверяли на шести задачах PostTrainBench. Они охватывают математику, написание текстов, научные вопросы, школьные задачи, медицинские ответы и генерацию кода. Во всех опытах агентом служила GLM-5.3, поэтому работа описывает один способ обучить конкретную модель, а не универсальное свойство любой LLM.

Почему из обучения исключали отдельные решения, а не целые запуски

Успешная траектория может содержать слабые промежуточные ходы. Агент способен выбрать неподходящие данные, неправильно объяснить результат проверки, столкнуться с ошибкой, а затем исправиться и всё же получить хорошую итоговую модель. Если дообучать LLM на таком диалоге целиком, она будет копировать как полезные решения, так и случайные обходные пути.

RSI-Prime делит траекторию не по сообщениям, а по экспериментальным решениям. Одно решение объединяет рассуждение, выбранное действие и его выполнение, даже если они находятся в разных частях диалога. Разметка отдельно проверяет, верно ли агент понял ситуацию, подходит ли выбранное действие под задачу и корректно ли оно выполнено.

Качество оценивали несколько запусков GLM-5.3, а итог выбирали большинством; часть разметки дополнительно прошла человеческую проверку. Ошибка инструмента сама по себе не делала решение плохим: оценщик различал внешний сбой и ошибку агента. Точно так же успешный запуск не подтверждал, что способ обучения или источник данных были выбраны разумно.

При дообучении полный контекст оставался во входных данных, но сообщения с сомнительными решениями не влияли на обновление модели. Применялось консервативное правило: если сообщение относилось одновременно к хорошему и плохому решению, его исключали целиком.

Исходная GLM-5.3 получила на PostTrainBench общую оценку 36,56. Обучение на полных траекториях подняло её до 45,61, а отбор по качеству решений — до 48,24. При этом модель обучалась лишь на 75,48% доступных токенов и обошла отбор по важности отдельных шагов на 5,03 пункта. Значит, результат дал не сам меньший объём данных, а связь между рассуждением, выбором и последствиями действия.

Планы меняются в устройстве данных, а не в степени автономности

Если команда уже строит агента для автоматического постобучения, работа меняет прежде всего схему журналирования. Недостаточно сохранять команды и итоговую метрику: для последующего обучения нужны обоснование выбора, параметры запуска, результаты оценки, созданные файлы и связь между обратной связью и следующей попыткой.

Второе изменение касается фильтрации. Отбор только успешных запусков оставляет внутри траекторий плохие локальные решения, а исключение всех неудачных запусков убирает полезные примеры диагностики и восстановления. RSI-Prime предлагает сохранить обе части контекста, но отключать обучение на сообщениях, связанных с ошибочным поведением.

Для собственной системы это означает отдельный слой разметки между журналом экспериментов и дообучением агента. Он должен объединять разнесённые по диалогу фрагменты в решения, оценивать их с учётом доступной на тот момент информации и формировать маску функции потерь. Простая фильтрация по коду возврата инструмента такой слой не заменяет: корректно выполненная команда может реализовывать неверную стратегию.

Работа не требует сразу отдавать агенту весь цикл улучшения модели. Её схема применима и к более узкому процессу, где человек задаёт цель и ограничения, а LLM готовит данные, запускает варианты и предлагает следующий опыт. Проверенный результат относится именно к такому ограниченному постобучению на PostTrainBench; рекурсивное самоулучшение остаётся направлением, а не показанным свойством системы.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу