Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Рекурсивную модель можно вывести из ошибочного состояния, если менять условия, под которыми она продолжает решать ту же задачу. На пяти наборах головоломок Input-Conditioned Search потребовал в 10–195 раз меньше вычислений, чем проверенные способы масштабировать поиск, хотя работу ещё не рецензировали и числа получили сами авторы. Для команд это открывает ещё один способ расходовать вычисления во время ответа: не повторять один ход рассуждений, а менять правило его развития.
Почему более долгий поиск не всегда исправляет ответ
Рекурсивная модель не генерирует новую цепочку текста на каждом шаге. Она многократно обновляет скрытое состояние — внутреннее представление текущего решения — одним и тем же обученным правилом, а затем декодирует из него ответ.
Обычно дополнительные вычисления распределяют по глубине или ширине. В первом случае модель дольше обновляет одно состояние. Во втором запускают несколько траекторий, добавляя случайные возмущения к состояниям, но сохраняя исходный вход и правило обновления.
Оба подхода могут привести к ошибочному аттрактору. Это устойчивое состояние, к которому модель возвращается после следующих шагов или небольших возмущений. Если решение застряло там, дополнительная глубина лишь повторяет ошибку, а близкие параллельные траектории сходятся к ней снова.
ICS меняет не параметры модели, а входное условие. Поскольку рекурсивное обновление зависит и от обученных весов, и от входа, новое условие задаёт другое правило движения скрытого состояния. Модель при этом остаётся замороженной: дополнительное обучение не требуется.
Метод использует два вида условий. Первый добавляет в исходную задачу частичную гипотезу, например предполагаемую цифру в Sudoku или состояние клетки в логической головоломке. Гипотезы берутся из собственных предсказаний модели, причём поиск сначала проверяет позиции, где модель меньше всего уверена в выборе.
Второй вид — эквивалентная запись той же задачи. Поле можно повернуть или отразить, запустить решение в новом представлении, а результат преобразовать обратно. Правила и правильный ответ не меняются, но скрытая траектория может пойти по другому пути.
Смена условия обошла глубину и случайные возмущения
ICS проверили на шести задачах: Sudoku-Extreme, Maze-Hard, Light-Up, Nurikabe, Tapa и Heyawake. Основой служила Tiny Recursive Model, а сравнение включало обычный TRM, увеличение глубины, PTRM, GRAM, EqR и Attractor Models. Для основных сравнений методы запускали на одинаковых обученных вариантах TRM и одинаковых разбиениях данных.
Без проверки правильности во время выбора ответа ICS показал 99,7% на Sudoku-Extreme против 98,8% у ближайшего соперника. На один пример метод потратил 1,14 триллиона операций с плавающей точкой против 1,20 триллиона у усиленного глубиной TRM. Разрыв выглядит небольшим по стоимости одного запуска, но ICS сократил большую часть оставшихся ошибок.
Метод также лидировал по средней точности, когда система могла проверять решение по правилам задачи, и когда выбирала ответ только по собственным оценкам. Это различие существенно для практики: в Sudoku корректность легко проверить программно, а в задачах без надёжного проверяющего механизма модель должна сама решить, какой результат вернуть.
Разбор компонентов показал, что отдельную пользу дают и гипотезы, и эквивалентные записи. Полная схема объединяет их последовательно: сначала пробует исходный вход, затем развивает частичные предположения и лишь после этого перебирает другие представления задачи. Так вычисления уходят на альтернативные правила обновления только для нерешённых примеров.
Планы стоит менять только для рекурсивных решателей
Работа предлагает не замену обычному увеличению глубины, а дополнительную ось поиска. Если продукт уже использует рекурсивную модель с доступом к скрытому состоянию, стоит проектировать вход так, чтобы систему можно было безопасно перезапускать с частичными гипотезами и равносильными преобразованиями задачи.
Для этого нужны три свойства. Частичное условие не должно уничтожать исходные ограничения; преобразование должно однозначно переводить ответ обратно; кандидаты следует оценивать по исходной задаче, а не по временной гипотезе. Особенно полезен внешний проверяющий механизм: он позволяет остановить поиск сразу после появления корректного решения.
Переносить вывод на обычные LLM пока рано. Эксперименты охватывают логические головоломки с формальными правилами и модель, которая рекурсивно обновляет внутреннее состояние. Работа не показывает, что тот же выигрыш сохранится в диалогах, поиске по документам или генерации кода, где эквивалентность входов и правильность ответа сложнее задать.
Практический вывод уже применим к архитектуре вычислительного контура. Если ошибка сохраняется после длинного прогона и случайных перезапусков, следующий бюджет разумнее направить не на ещё одну похожую траекторию, а на управляемое изменение входного условия. ICS показывает, как сделать это без переобучения модели и не потерять связь с исходной задачей.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
