Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Длинное рассуждение LLM можно сократить, не обрывая его сразу после первого устойчивого ответа. В нерецензированном препринте, где все числа получили сами авторы, команда Shenzhen University показала снижение расхода токенов на 18,6–25% без потери точности. Для внедрения не нужно переобучать модель, но потребуется управлять её декодированием и получать промежуточные ответы.
Совпавший ответ ещё не означает, что рассуждение закончено
Методы раннего выхода обычно периодически просят модель дать пробный ответ. Если несколько ответов подряд совпадают, генератор завершает рассуждение и переходит к итоговой формулировке. Так можно быстро убрать длинный хвост текста, но локальное совпадение не гарантирует, что модель больше не исправит ошибку.
Предварительный опыт на DeepSeek-R1-Distill-Qwen-7B и OlympiadBench показал разрыв в 10,4 процентного пункта между ответом в момент первого совпадения и результатом полного рассуждения. После совпадения модель ещё могла проверить вычисления, пересмотреть промежуточный вывод или восстановить пропущенный шаг. Жёсткая остановка отрезала эти действия вместе с повторениями.
CALM оставляет траекторию открытой. Метод вмешивается не в момент завершения ответа, а в выбор слов, которыми модель запускает очередной виток рассуждения. В результате полезная проверка может продолжиться, но модели становится сложнее снова уйти в характерное «подождите, попробуем иначе».
Как CALM подавляет лишние переходы
На границе каждого смыслового шага система создаёт отдельную ветку генерации и запрашивает пробный ответ. Эта ветка не меняет основной контекст. Когда ответ совпадает четыре раза подряд, CALM считает его достаточно устойчивым и начинает менять вероятности отдельных продолжений.
Метод работает с логитами — числами, из которых декодер получает вероятности следующих токенов. Он снижает вероятность слов Wait, Alternatively и Hmm, если они начинают новый шаг после достижения согласованности. Эти маркеры часто открывают повторную проверку или альтернативное решение, хотя итог уже перестал меняться.
Жёсткий вариант полностью запрещает такие переходы. Мягкий наращивает штраф постепенно, поэтому модель всё ещё может выбрать маркер, если его исходная вероятность достаточно высока. В обоих случаях CALM продолжает обычную генерацию: он не вставляет команду завершить рассуждение и не задаёт предельную длину ответа.
Выбор слов оказался существенным. Подавление всех частых союзов и переходов, включая But, So и Therefore, ухудшало точность: некоторые из них действительно связывают нужные этапы решения. CALM ограничивается маркерами, которые чаще оформляют повторное размышление, чем несут его содержание.
Экономия требует доступа к собственному декодеру
Основное сравнение охватывает четыре варианта DeepSeek-R1-Distill и пять наборов задач по математике и естественным наукам. CALM сопоставляли с полным рассуждением и методами, которые прекращают генерацию после локального сигнала. Точность в среднем сохранилась, а в отдельных конфигурациях выросла до 1,48 процентного пункта.
Преимущество над ранней остановкой состоит не только в средней точности. CALM реже превращал правильный ответ полного рассуждения в неправильный, поскольку не закрывал модели путь к последующей проверке. Модель-оценщик Qwen3.5-397B-A17B также предпочла результаты CALM по полноте, связности и обоснованности, хотя такая оценка зависит от поведения самой модели-оценщика.
Для команды с собственным контуром вывода работа предлагает сравнительно локальное изменение. Базовую модель и её веса можно оставить прежними, а логику добавить между шагами генерации. Понадобятся разбиение рассуждения на шаги, дополнительные ветки для пробных ответов и возможность менять логиты с учётом уже полученного текста.
Через закрытый API без доступа к логитам CALM в описанном виде не внедрить. Даже в собственном контуре экономию основных токенов следует считать вместе с расходом на промежуточные пробы и дополнительной задержкой: метод сокращает продолжение рассуждения, но сам выполняет вспомогательную генерацию.
Проверка охватывает текстовые задачи по математике и науке. Для агентов с инструментами, внешней обратной связью или мультимодальными данными те же маркеры могут запускать полезное действие, а не пустой повтор. Поэтому CALM пока меняет планы прежде всего у команд, которые обслуживают открытые модели рассуждения в собственном контуре и платят заметную долю вычислений за длинные ответы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
