Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замороженную языковую модель научились точнее отвечать на отдельный сложный вопрос без дообучения. В препринте Peking University и Samsung Research, который не рецензировался и содержит только замеры авторов, EMO улучшил исходный результат в 39 из 40 сочетаний модели и задачи, в среднем на 9,10 процентного пункта. Метод предлагает тратить вычисления во время ответа не только на новые попытки, но и на управляемое изменение каждой следующей попытки.
Контекст меняется после каждого проверенного ответа
Обычная оптимизация инструкций работает так: модель отвечает, отдельная модель-оценщик разбирает ошибку, затем система переписывает инструкцию и запускает генерацию заново. Веса основной модели остаются неизменными, а весь сигнал передаётся через текст.
EMO начинает так же. Модель-оценщик выставляет ответу балл и формулирует замечания, не видя правильного ответа. На их основе система меняет контекст для конкретного вопроса: уточняет роль модели, порядок рассуждения, типичные ошибки и требования к формату.
Переписанный контекст сам по себе меняет вероятности следующих токенов, но обычная генерация не позволяет отдельно управлять силой этого изменения. EMO добавляет второй шаг: на каждом префиксе ответа модель одновременно вычисляет распределения токенов со старым и новым контекстом.
Разница между распределениями показывает, какие продолжения стала сильнее поддерживать новая инструкция. EMO преобразует её в поправку к логитам — числовым оценкам вариантов следующего токена до перевода в вероятности. Поправка усиливает изменения выше среднего и отсекает варианты, которым обновлённый контекст изначально назначил слишком низкую вероятность.
Полученный ответ снова проверяет модель-оценщик, после чего начинается следующий цикл. Для финальной выдачи система выбирает ответ с максимальным баллом, сохраняя более ранний вариант при равенстве оценок. Так проверка влияет не только на новую инструкцию, но и на то, как эта инструкция исполняется во время генерации.
Управление логитами дало прибавку поверх TextGrad
EMO проверяли на моделях Qwen, Llama и производной DeepSeek-R1, а также на задачах AIME, GPQA-Diamond, GSM8K, MATH-500 и MMLU-Pro. Основные замеры использовали жадное декодирование: модель каждый раз выбирала токен с наибольшей вероятностью.
По сравнению с TextGrad, который только переписывает контекст, дополнительное управление логитами прибавило в среднем 1,53 процентного пункта. На MMLU-Pro оно улучшило результат у всех проверенных моделей. Это отделяет эффект управления распределением от общей пользы повторных ответов и текстовой критики.
При одинаковом бюджете генерации EMO сравнили с best-of-N, где модель независимо создаёт несколько ответов, а оценщик выбирает лучший. Преимущество оказалось наиболее заметным у Llama; на Qwen3-8B результаты зависели от задачи и местами практически совпадали. Следовательно, метод пока нельзя считать универсальной заменой независимым попыткам.
Теоретический результат тоже условный. Улучшение доказано только для достаточно слабой поправки, если новый контекст приблизил распределение к правильному ответу, а направление управления не исказило этот сдвиг. Доказательство не гарантирует рост точности с настройками основного эксперимента и не обещает улучшения на каждой итерации.
Метод меняет архитектуру вывода, но не заменяет дообучение
Для команды, которая уже использует несколько попыток и модель-оценщик, EMO предлагает заменить независимую генерацию последовательным циклом. Следующая попытка получает критику предыдущей, а изменение контекста превращается в сигнал для декодирования. Такой подход имеет смысл прежде всего там, где один сложный ответ оправдывает дополнительные вычисления.
Архитектура требует доступа к полному распределению токенов и двух параллельных потоков основной модели со старым и новым контекстом. В основном протоколе четыре итерации дают пять готовых ответов, но требуют девять эквивалентов генерации основной модели. В этот бюджет не входят вызовы оценщика, переписывание контекста, различия в длине ответов и задержка.
Поэтому работу стоит воспринимать как схему для собственного контура вывода, а не как приём для любого текстового API. Если инфраструктура не позволяет вмешиваться в логиты, остаются обычная правка контекста и повторное ранжирование; перенос преимуществ EMO на такой режим потребует отдельной проверки.
Границы эксперимента проходят по задачам на математику, знания и рассуждение, моделям двух основных семейств и ответам без инструментов. Работа не показывает, как цикл поведёт себя в многоязычных продуктах, длинных процессах или агентах с вызовами внешних систем. Для продуктового решения сначала придётся измерить полную стоимость ответа и проверить, умеет ли оценщик выбирать правильный вариант, а не только порождать более разнообразные кандидаты.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
