Журнал · Rit.work

Скрытое состояние привело модель к ответу короче CoT

Направление, извлечённое из скрытых состояний CoT, повысило точность коротких ответов, но пока его можно построить только с готовой цепочкой и эталонным ответом.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Модель можно направить к правильному ответу без длинной цепочки рассуждений и при этом повысить точность. В препринте Houman Mehrafarin и Ioannis Konstas, который не прошёл рецензирование и приводит числа самих авторов, точность Qwen 2.5 7B достигла 86% против 77% у цепочки рассуждений (CoT), а ответ потребовал примерно в десять раз меньше токенов. Однако для каждого вопроса направление пока вычисляют по уже созданной цепочке и эталонному ответу, поэтому заменить CoT в продукте этим методом ещё нельзя.

Как из цепочки получают направление

Для одного вопроса модель запускают с двумя почти одинаковыми подсказками. Первая просит рассуждать по шагам, вторая — сразу дать ответ. Во время пошагового ответа исследователи сохраняют скрытое состояние каждого токена на поздних слоях модели.

Скрытое состояние — это вектор чисел, в котором модель хранит текущую информацию о запросе и продолжении. Каждый сохранённый вектор по очереди подставляют вместо последнего состояния прямой подсказки, после чего модель завершает ответ обычным способом.

Если после такой подстановки получается эталонный ответ, состояние называют восстанавливающим. Остальные состояния относят к неудачным. Линейный классификатор различал эти классы на вопросах, которых не видел при обучении, то есть полезные состояния занимают отдельную область внутреннего пространства модели.

Затем для каждого вопроса усредняют восстанавливающие состояния и отдельно неудачные. Искомое направление строят так, чтобы оно указывало к первому среднему и отклонялось от второго. Последнее состояние прямой подсказки один раз поворачивают к этому направлению, сохраняя длину вектора, а дальше модель генерирует ответ без других вмешательств.

Метод проверили на двух моделях с открытыми весами — LLaMA 3.1 8B и Qwen 2.5 7B. Набор охватывал 25 задач с короткими автоматически проверяемыми ответами: арифметику, логику, работу со временем и состояниями, пространственные задачи, причинные связи и язык. Исследователи меняли состояния только на поздних слоях и в последней позиции прямой подсказки.

Короткий ответ оказался точнее длинной цепочки

На LLaMA прямая подсказка дала точность 46%, обычная CoT — 69%, а поворот скрытого состояния — 85%. После вмешательства модель генерировала в среднем 19 токенов вместо 197 у CoT. Если ответ следовал прямо из вопроса, она выдавала его сразу; если требовалось вычисление, оставляла несколько промежуточных шагов.

Направление помогало и там, где прямая подсказка вместе с CoT приводили к ошибке. В других задачах длинное рассуждение, наоборот, уводило модель от уже доступного правильного ответа, а поворот состояния позволял его сохранить.

Это не означает, что эксперимент уже сокращает полную стоимость вычислений. Чтобы найти направление, сначала нужно получить CoT для того же вопроса, сохранить её состояния, многократно подставить их в прямой запуск и проверить ответы по эталону. Короткой становится только финальная генерация после того, как направление известно.

Для продукта это пока ориентир, а не замена CoT

Главный барьер — направление относится к конкретному вопросу. Усреднение направлений внутри одной задачи оставило точность около уровня прямой подсказки. Первая попытка предсказывать нужный вектор только по тексту вопроса также не улучшила исходный результат.

Поэтому командам, которые работают с моделью через обычные подсказки, менять схему вызовов рано. Метод требует доступа к скрытым состояниям и возможности вмешаться в вычисления внутри модели. Кроме того, при обработке нового запроса обычно нет эталонного ответа, необходимого для разметки восстанавливающих состояний.

Работа задаёт более конкретное направление для команд, которые обучают собственные модели или меняют среду их выполнения. Цепочку можно использовать не как обязательный текстовый результат, а как источник обучающих примеров: прямой запрос сопоставляется с вектором, который ведёт к правильному короткому ответу. Следующий практический шаг — научить отдельный механизм предсказывать такой вектор без предварительной CoT и проверки по эталону.

Пока вывод относится к двум сравнительно небольшим моделям и задачам с однозначным коротким ответом. Для планирования продукта это аргумент исследовать внутреннее рассуждение как способ сократить генерацию, но не основание пересчитывать бюджет токенов или убирать CoT из производственной системы.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу