Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Циклы рассуждения в небольшой языковой модели научились исправлять прямой правкой её весов без LLM-агента и градиентов. Tree-Ising обошёл агентную правку на всех пяти математических бенчмарках, хотя препринт не прошёл рецензирование, а все числа получили сами авторы. Для команд это намечает более дешёвый путь к повторяемым исправлениям, когда сбой уже можно описать через поведение внутренних слоёв.
Как поведение модели превратили в задачу по битам
Работа начинается не с поиска отдельных «плохих» весов, а со сравнения двух типов ответов. В одних модель зацикливается и повторяет фрагменты рассуждения, в других доходит до правильного завершения. Прямые проходы через модель показывают, в каком направлении внутреннее представление движется во время цикла и какое направление связано с завершением ответа.
Из этих наблюдений авторы собирают целевую функцию. Правка должна ослабить направление цикла, усилить переход к заключению и как можно меньше менять выход слоя на продуктивных токенах. Отдельный штраф ограничивает число затронутых весов.
Затем метод сканирует слои и выбирает те, чьи многослойные перцептроны сильнее всего толкают представление в сторону цикла. Для Qwen3.5-0.8B скан указал на те же выходные проекции, которые ранее выбрал LLM-агент. Само исправление применяется только к этим матрицам, а не ко всей модели.
Веса хранятся в формате BF16: у значения есть знак, экспонента и мантисса. Tree-Ising рассматривает группу из 64 весов как дерево состояний с общей экспонентой. Допустимая правка может перевернуть знак или сдвинуть экспоненту отдельного веса на степень двойки, но не меняет общую экспоненту группы и мантиссу.
Для каждого веса заранее выбирают один допустимый вариант изменения. После этого остаётся двоичное решение: применить его или оставить вес прежним. Целевая функция распадается на независимые квадратичные задачи по двоичным переменным, по одной на каждую строку выходной матрицы.
Эти задачи решает GPU с помощью имитации отжига либо квантово-вдохновлённой симулированной бифуркации. Точное здесь именно разложение целевой функции по строкам. Выбор кандидатов, конкретного изменения веса и решателя остаётся эвристическим.
Дискретная правка оказалась точнее агентной
На MATH-500 Tree-Ising получил точность 54,6% против 51,7% у правки, которую нашёл LLM-агент. Разница статистически значима. Второй решатель дал результат в пределах погрешности, поэтому эффект не привязан к одному алгоритму поиска.
Для применения готового рецепта понадобилось четыре запроса прямого прохода вместо 50 у агентного процесса. Один запуск имитации отжига стоил около 0,90 доллара по принятой в работе оценке GPU-времени. LLM-токены методу не нужны.
Сравнение стоимости требует оговорки по существу. Агент не только записывал исправление, но и исследовал сбой, выбирал слои и формулировал способ вмешательства. Рецепт Tree-Ising для меньшей модели разработали после разбора этих журналов, переиспользовали выбранные агентом слои и настроили силу правки с опорой на его результат. Поэтому стоимость показывает разницу между поиском решения и повторным применением уже сформулированной процедуры.
Когда Tree-Ising меняет план разработки
Работа не делает дискретную оптимизацию универсальной заменой дообучению или агентному исследованию. Она показывает более узкий сценарий: команда уже умеет отделить неудачные траектории от продуктивных, собрать внутреннюю статистику модели и выразить желаемое изменение через выходы конкретных слоёв. Тогда вместо свободного редактирования весов можно задать ограниченный набор безопасных битовых правок и воспроизводимо искать их на GPU.
Проверка на Qwen3.5-2B частично снимает зависимость от агентной подсказки. Там слои и силу вмешательства выбрали по базовой модели, а точность на GSM8K при жадном декодировании выросла с 21,6% до 69,4%. Это показывает, что агент не обязателен для каждого нового размера модели, если правило выбора слоёв переносится.
Границы проверки остаются узкими: две модели одной семьи с общей гибридной архитектурой, один тип сбоя и только математические задачи. Целевая функция защищает поведение на токенах из тренировочного набора примеров, но работа не измеряет побочные эффекты на обычной генерации и следовании инструкциям. Кроме того, она оценивает слои по статистике исходной модели и не учитывает, как первая правка меняет входы последующих слоёв.
Практический вывод касается не замены всего контура обучения, а эксплуатации известных моделей. Если продукт страдает от локального и хорошо воспроизводимого сбоя, Tree-Ising предлагает проверить, можно ли свести исправление к ограниченной оптимизации по весам. Для широких изменений поведения, новой предметной области или неизвестной причины ошибки работа пока не даёт оснований менять планы.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
