Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
После удаления части весов модели рассуждений часто продолжают писать уже после того, как нашли верное решение, и упираются в лимит токенов. Препринт команды Nanyang Technological University и VinUniversity, который не прошёл рецензирование и содержит замеры самих авторов, показывает: TGAS повышает долю завершённых ответов и точность без дообучения. Для команд, которые сжимают модели ради более дешёвого запуска, это переносит часть работы с восстановления знаний на управление генерацией.
Прореживание сдвигает модель от ответа к циклу
Прореживание весов (pruning) обнуляет часть параметров модели. Исследователи проверяли, действительно ли после этого модель хуже решает задачу или находит решение, но не оформляет его как финальный ответ.
На задачах MATH-500, которые исходная DS-Qwen-7B решала правильно, переход от 50% к 60% разреженности поднял долю незавершённых генераций с 3,8% до 16,8%. При этом доля ответов, которые завершились, но оказались неправильными, почти не изменилась. Значит, заметная часть падения точности возникла не из-за утраты решения, а из-за того, что модель не остановилась.
В 41,4% незавершённых трасс правильный ответ уже присутствовал в рассуждении. Обычно он появлялся задолго до конца, после чего модель возвращалась к прежним шагам, перепроверяла их и начинала повторять похожие абзацы.
Резкое увеличение лимита генерации сокращало число оборванных ответов при умеренном прореживании, но почти не меняло итоговую точность. Дополнительные токены давали модели больше времени на тот же цикл, а не помогали перейти к финальному ответу.
Сам сигнал остановки при умеренной разреженности сохранялся. Когда через прореженную модель принудительно проводили готовую трассу исходной модели, токен завершения оставался наиболее вероятным в нужной позиции. Сбой возникал раньше: при свободной генерации модель всё чаще выбирала повтор предыдущего рассуждения вместо следующего шага.
TGAS отделяет завершение от зацикливания
Метод TGAS строит направление в скрытых состояниях модели, которое связано с переходом к ответу. Для одного и того же начала рассуждения исследователи собирали продолжения двух типов: модель либо завершала мысль, либо исчерпывала бюджет токенов.
Для каждого слоя вычисляли среднее скрытое состояние обоих типов и брали разность. Поскольку продолжения получали одну задачу и одинаковое начало, разность должна слабее зависеть от содержания задачи и сильнее — от выбора между завершением и циклом.
Направления, найденные у разных прореженных версий DS-Qwen-7B, оставались похожими: минимальное косинусное сходство достигало 0,87. Это мера того, насколько одинаково ориентированы два вектора скрытых состояний. Результат указывает, что зацикливание связано не со случайным сбоем отдельной версии, а с повторяющимся изменением внутренних представлений.
Во время генерации TGAS добавляет найденное направление в промежуточные представления выбранных слоёв. Веса модели при этом не меняются. Силу воздействия подбирают на отдельном наборе задач, чтобы подтолкнуть модель к завершению, но не оборвать рассуждение раньше времени.
TGAS повысил точность и долю завершённых ответов, а также сократил повторы и длину генерации. Метод работал с разными семействами моделей и способами прореживания; направление, построенное на одной степени разреженности, переносилось на другие версии той же модели.
Когда менять план сжатия модели
Проверка охватывала шесть моделей семейств DeepSeek-R1-Distill и OpenThinker3, три варианта прореживания и задачи по математике и программированию. Основные генерации ограничивали 16 384 токенами. Направление TGAS строили на OpenR1-Math, отдельно от MATH-500, AIME-25 и LiveCodeBench-v6, где оценивали результат.
Работа предлагает сначала разделить причины падения качества. Если в незавершённых трассах уже встречается верный ответ, завершившиеся ответы сохраняют точность, а текст уходит в повторяющиеся циклы, повторное обучение может оказаться не первым шагом. Сначала стоит измерить долю незавершённых генераций, положение первого правильного ответа и частоту повторов.
TGAS применим прежде всего там, где команда управляет запуском модели. Метод требует доступа к скрытым состояниям слоёв, возможности менять их во время генерации и набора продолжений для построения направления. Обычный внешний API, который возвращает только текст, такого доступа не даёт.
При разреженности 70% картина менялась: сигнал остановки заметно ослабевал, а модель хуже распознавала нужную позицию даже на готовой правильной трассе. Поэтому результат не означает, что любое повреждение после прореживания можно исправить управлением активациями. TGAS выглядит как способ восстановить умеренно сжатую модель с диагностированным зацикливанием, а не как замена проверке качества после агрессивного удаления весов.
Источники
Иллюстрация: рисунок из статьи «To Reason but Not to Stop: Understanding and Recovering Pruned Large Reasoning Models», Minh-Anh Nguyen, Nguyen T. Ha Lan, Xiyan Fu и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
