Журнал · Rit.work

ARISE учит LLM-агентов на ошибках без переобучения

ARISE превращает ошибки корпоративного LLM-агента в проверяемые правила и повышает точность, не меняя модель, инструменты и логику процесса.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Корпоративный LLM-агент стал точнее без изменения весов модели, инструментов и логики процесса. В работе Amazon, которая не прошла рецензирование и приводит замеры самих авторов, ARISE повысила долю правильно выполненных задач на 10,9 процентного пункта в SOP-Bench и на 5,8 пункта в τ2-bench. Для внедрения нужен не новый цикл обучения модели, а отдельный контур памяти, который разбирает ошибки и допускает новые правила только после проверки.

Как ошибка превращается в память агента

ARISE работает после выполнения задач, а не меняет агента во время запроса. Офлайн-контур получает неудачную трассу: исходные данные, вызовы инструментов, ответ агента и проверяемый итог. Для SOP-Bench таким итогом служит правильное решение по инструкции, для τ2-bench — результат проверок действий в диалоге.

Модель-разборщик изучает каждую ошибку и записывает короткую поправку с условием применения. Вместо общего совета «внимательно проверяй статус» получается правило вида: если учётная запись закрыта из-за завершившегося договора и обычная поддержка недоступна, верни результат FAILED.

Такие поправки образуют микропамять. При новом запросе агент находит семантически похожие случаи и добавляет подходящие записи в контекст. Это сохраняет редкие исключения, которые не стоит превращать в общее правило для всех задач.

Параллельно система сводит накопленные поправки в макроправила. Они описывают повторяющиеся закономерности и попадают в каждый запрос. Получается два уровня: точечный опыт для похожих случаев и компактная инструкция, которая действует во всём процессе.

Новое макроправило не отправляется в рабочую среду автоматически. ARISE сравнивает его с текущим набором на отложенной проверочной части данных и принимает только при росте точности. Микропамять проходит отдельную проверку, чтобы найденные по сходству случаи не ухудшали результат.

Это отличает архитектуру от бесконтрольного накопления заметок. Память перестраивается, но рабочая модель, набор инструментов и базовый процесс остаются прежними. Принятые правила можно прочитать и проверить перед выпуском.

Основной выигрыш дали общие правила, а не поиск похожих случаев

Проверка охватила 14 областей корпоративных процессов и пять моделей: Claude Opus 4.6, Sonnet 4.6, Haiku 4.5, DeepSeek v3.2 и Qwen3-32B. SOP-Bench проверяет решения по стандартным инструкциям, а τ2-bench — многоходовые диалоги в авиаперевозках, рознице и телекоме.

В среднем ARISE-Teacher, где ошибки разбирает Claude Opus 4.6, прибавила 9,8 процентного пункта к базовому агенту. Относительно GEPA преимущество составило 2,0 пункта. Вариант ARISE-Self, где развёрнутая модель сама разбирает свои ошибки, также улучшил результаты всех проверенных моделей на SOP-Bench.

Разбор компонентов показал, что большую часть выигрыша обеспечили макроправила. Микропамять добавляла точечные исправления и служила сырьём для последующего обобщения. Это полезное инженерное различие: поиск похожих ошибок сам по себе не заменяет проверяемую редакцию общей инструкции.

Дополнительный контекст не увеличил расходы на модель: стоимость одной задачи изменилась на −1,0%. Агент делал меньше вызовов модели и писал более короткие ответы, поэтому они компенсировали токены, добавленные памятью. В расчёт при этом не входили хранение записей, построение векторных представлений и поиск по ним.

Работу проверяли на процессах с однозначным успешным или неуспешным исходом. В отдельных сочетаниях модели и области результат ухудшался, а проверочный шлюз оценивал только точность. Безопасность, соответствие политикам и управление данными остаются отдельными проверками перед выпуском.

Когда ARISE меняет план внедрения

Архитектура подходит командам, у которых уже есть агент, журнал его действий и автоматическая проверка результата. В таком проекте можно не начинать с дообучения модели или полной переработки процесса. Достаточно вынести разбор ошибок в офлайн-контур и добавлять принятую память в системную инструкцию.

Для первого варианта не обязательно подключать более дорогую модель-разборщик. ARISE-Self позволяет проверить сам подход на той же модели, которая обслуживает запросы. Отдельную модель-учителя имеет смысл оценивать для процессов с длинными диалогами и цепочками инструментов, где ей проще определить источник ошибки.

Главное изменение в плане проекта касается набора данных. История обращений без правильного результата недостаточна: системе нужны ожидаемое решение, диагностическая проверка или достоверный итог операции. Кроме обучающей части потребуется отдельная проверочная выборка, которую нельзя использовать для написания правил.

Память также следует версионировать вместе с моделью и регламентом. После смены модели или рабочей инструкции ARISE можно запустить заново, не меняя инструменты и базовый код агента. Старые правила нельзя переносить автоматически: они могли закрепить условия, которые новый процесс уже отменил.

Работа не доказывает, что память заменяет дообучение во всех агентных системах. Она показывает более узкий практический путь: если успех задачи можно проверить, ошибки можно превратить в обозримый слой правил и улучшать агент без доступа к весам модели.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу