Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ошибочное рассуждение LLM научились возвращать на рабочую траекторию без дообучения самой модели. В не рецензированном препринте KAIST, где числа получили сами авторы, UPTURN поднял среднюю точность пула ответов с 37,1% до 55,3% по сравнению с обычной повторной генерацией. Для продукта это предлагает более лёгкий слой коррекции поверх уже выбранной модели вместо нового цикла её обучения.
UPTURN сначала отмечает ответы, которые, вероятно, содержат ошибку. Затем модуль из многослойного перцептрона на 130 тысяч параметров оценивает границы абзацев и выбирает, где оборвать рассуждение. Система сохраняет предшествующий текст, отбрасывает остаток, добавляет фиксированную команду отдельным пользовательским ходом и заново генерирует окончание в пределах прежнего лимита токенов.
Граница между ролями оказалась важнее формулировки команды. Если ту же фразу вставляли прямо в ответ ассистента, модель часто воспринимала её как часть уже начатого рассуждения и продолжала прежний путь. Отдельный пользовательский ход надёжнее менял направление, причём специально обученный выбор точки вставки не устранил отставание варианта без смены роли.
Основное сравнение свело пул Base@32 из 32 независимых попыток с UPTURN@16, который начинал с 16 ответов и заменял слабые исправленными версиями при сопоставимом бюджете генерации. UPTURN также обошёл самокоррекцию и вставку слов для размышления, а поверх моделей после GRPO дал дополнительный прирост.
Метод проверили на четырёх моделях рассуждения и шести математических бенчмарках, отделённых от обучающих задач. Выбор точки обычно обучали на ответах каждой модели, но он переносился между моделями и на GPQA-Diamond без повторного обучения. Поэтому результат пока обосновывает коррекцию математических рассуждений и ответов на сложные вопросы, а не произвольных процессов с кодом или инструментами.
Источники
Иллюстрация: рисунок из статьи «Inject a Turn, Not a Token: Learning Where to Redirect LLM Reasoning for Self-Correction», Jiwon Jeon, Myungsik Cho, Jeonghye Kim и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
