Журнал · Rit.work

Состояние длинного процесса лучше считать вне LLM

Замороженная LLM извлекает отдельные изменения, а внешний регистр применяет их по порядку: схема точнее длинных рассуждений и снижает расходы на API-модели.

Rit.work
Студия разработки
20 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Длинные цепочки событий удалось отслеживать без длинной цепочки рассуждений LLM. В нерецензированном препринте, где числа получили сами авторы, система без ошибок обработала окна длиной более 43 тысяч событий. Для продукта это предлагает другую архитектуру: модель читает локальные изменения, а состояние рассчитывает обычная программа.

Модель читает события, регистр хранит состояние

Работу выпустила Attractor Dynamics Inc. Её исходная задача — определить итог последовательности перестановок: каждое событие меняет положение объектов, а порядок изменений влияет на конечный ответ. Модель должна прочитать весь поток и не потерять ни одного перехода.

Если просить LLM сразу назвать конечное состояние, ей приходится одновременно распознавать события, помнить промежуточный результат и применять операции в правильном порядке. Ошибка на любом шаге портит ответ, а длинное рассуждение увеличивает задержку и расход токенов.

Авторы разделили эти функции. Замороженная модель, веса которой не меняются, читает каждое событие. Обучаемый модуль выбора анализирует внутренние признаки модели возле границы события и определяет, какой переход произошёл. Все признаки модель рассчитывает за один проход по входному тексту.

Затем внешний целочисленный регистр применяет переходы по порядку. Это уже не вероятностная генерация: если события распознаны правильно, программа детерминированно получает конечное состояние. В основном опыте так работала модель с 0,8 млрд параметров.

Для закрытых моделей, доступных только через API, используется другой способ чтения. Модель получает части документа и перечисляет найденные переходы, запросы выполняются параллельно, а тот же регистр собирает общий результат. Доступ к внутренним слоям в этом варианте не нужен.

Модуль также сравнивает два наиболее вероятных перехода. Если разрыв мал, политика может пометить обновление как сомнительное или сохранить несколько вариантов состояния. Это позволяет не пропускать неуверенный ответ прямо в действие, которое нельзя безопасно отменить.

Разделение обошло рассуждение на длинных документах

На документах room-swap модель читала команды, которые переселяют персонажей между комнатами. При длине в 1000 событий только три из десяти моделей решили все документы одним рассуждением. Каждая модель, проверенная в обоих режимах, решила их с извлечением переходов и внешним регистром.

Разделение снизило и вычислительные расходы. Для Sonnet 5.5 параллельное извлечение сократило медианное время ответа примерно в 13 раз, а среднюю стоимость документа при фиксированной цене токена — на 55%. Модели больше не требовалось генерировать длинное рассуждение, хотя на каждое событие она выпускала короткое описание перехода.

Безошибочный результат на длинных синтетических окнах не воспроизвёлся полностью на новой машине: при повторе появилась ошибочная обработка. Внешний регистр гарантирует правильное применение уже извлечённых операций, но не исправляет событие, которое модель прочитала неверно.

Архитектуру стоит менять там, где переходы можно формализовать

Работа меняет планы команд, которые сейчас передают LLM всю историю процесса и просят сразу вернуть актуальное состояние. Для журнала заказов, обращений или операций над документом надёжнее выделить конечный набор переходов, извлекать их локально и обновлять состояние обычным кодом. LLM тогда отвечает за понимание текста, но не за арифметику и порядок исполнения.

Выбор способа извлечения зависит от инфраструктуры. При собственной модели можно обучить небольшой модуль поверх замороженных весов. При работе через API документ можно разбить на независимые части, извлечь события параллельно и затем восстановить их исходный порядок перед выполнением.

Границы проверки широки по длине, но узки по типу переходов. Основные опыты использовали синтетические перестановки и room-swap с однозначными командами; регулярное выражение с исполнителем также решило все документы фиксированного формата. На 500 свободно написанных комментариях из трекера задач отдельно адаптированная модель с 4 млрд параметров определила записанное значение в 68,8% случаев против 61% у частотного базового метода.

Поэтому схема не заменяет обычный разбор там, где формат стабилен. Её практическая область — тексты с разными формулировками, но с ограниченным набором допустимых изменений. Перед внедрением придётся проверять точность именно на событиях продукта и задавать правила для сомнительных переходов: остановить процесс, отправить запись на проверку или временно хранить несколько состояний.

Главный результат работы — не новая способность одной модели, а полезная граница ответственности. LLM можно поручить чтение неоднозначного текста, а точное состояние процесса оставить системе, которая умеет применять операции без генерации и догадок.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу