Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Маленькие языковые модели научили реже застревать в повторяющихся действиях при работе с инструментами. Команда The Pennsylvania State University и Microsoft CoreAI предложила ProD: метод стабильно обошёл обычную дистилляцию по точности финального ответа, хотя препринт не прошёл рецензирование, а числа получили сами авторы. Для агентных систем это добавляет в обучение отдельный сигнал прогресса вместо простого копирования успешных решений большой модели.
Как измеряли застой в траектории
При обычной дистилляции большая модель решает задачу, а малая учится воспроизводить её рассуждения и действия. Во время реального запуска малая модель получает собственную историю: результаты поиска, журналы выполнения кода и сообщения об ошибках. Чем длиннее эта история, тем чаще модель повторяет уже провалившийся запрос или почти тот же фрагмент кода.
ProD рассматривает каждый шаг как пару из рассуждения и действия. Текущий шаг сравнивают со всеми предыдущими, а не только с последним: цикл может возвращаться к старой попытке через несколько ходов. Высокое сходство означает, что агент, вероятно, не использовал новую обратную связь и снова пошёл по прежнему пути.
Работа предлагает три способа посчитать сходство. ROUGE-L ищет повторяющиеся последовательности слов и особенно хорошо замечает похожие вызовы API или код. Семантическая мера сравнивает смысл шагов через их векторные представления, а модель-оценщик напрямую определяет, появился ли прогресс. В одном из опытов лексический показатель доходил почти до 0,9: очередное действие малой модели почти повторяло одну из прежних попыток.
Абсолютное повторение не всегда вредно: некоторые задачи требуют несколько раз вызвать один инструмент с разными аргументами. Поэтому ProD сравнивает средний застой малой модели с траекторией учителя для того же запроса. Разница показывает не сам факт повтора, а то, насколько чаще ученик топчется на месте.
Как сигнал прогресса встраивают в обучение
Сначала малую модель обучают на успешных траекториях учителя. Затем она сама выполняет те же задания, а ProD сопоставляет получившиеся последовательности. Если ученик сильнее повторяет прошлые шаги, разница увеличивает отступ в функции обучения: вероятность траектории учителя повышается относительно зацикленной траектории ученика.
Сила коррекции зависит ещё и от финального ответа. Самый большой отступ получает траектория, которая одновременно сильнее застряла и закончилась ошибкой. Если поведение уже похоже на учителя, обновление остаётся небольшим, поэтому метод не пытается одинаково жёстко исправлять все запуски.
ProD сохраняет исходное обучение с учителем как опору. Без него вероятности хорошей и плохой траекторий могут снижаться одновременно, хотя относительная разница между ними растёт. В опытах вариант без этой опоры работал нестабильно, а постоянный отступ уступал адаптивному.
После обновления модель снова запускают на заданиях и пересчитывают разрыв. Дополнительный цикл помог моделям, которые после первого прохода всё ещё заметно отставали от учителя. При этом сигнал вычисляют по отдельным шагам, но исправляют траекторию целиком: метод пока не назначает отдельный штраф конкретному ошибочному действию.
Когда ProD меняет план разработки агента
Метод проверяли в CodeAct на восьми моделях семейств Qwen, Llama и Gemma размером от 0,6 до 8 млрд параметров. Учителем служил GPT-4.1. Обучение и проверка охватывали MATH и HotpotQA, а перенос — Omni-MATH и 2Wiki MultiHopQA; агенты запускали код, работали с программными пакетами и искали сведения в интернете.
На новых задачах средняя точность Qwen3-1.7B выросла с 41,7 до 48,1%. Улучшение сохранилось у других размеров и семейств, а дополнительные проходы ProD ещё снижали повторяемость действий там, где одного обновления не хватало.
Работа меняет план команды, если она дистиллирует многошагового агента в локальную или более компактную модель. Одних успешных журналов большой модели недостаточно: в набор проверок стоит добавить повторяемость действий на собственных запусках ученика, а в обучение — свежие неудачные траектории и сравнение с учителем.
За это придётся платить дополнительными запусками модели: каждый проход ProD заново генерирует траектории и пересчитывает отступы. Для короткого диалогового помощника без инструментов работа не даёт прямого основания менять обучение, но для длинных циклов «рассуждение — действие — наблюдение» застой становится отдельной метрикой качества наряду с правильностью ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
