Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Отдельную модель научили замечать сбой в незавершённом мультиагентном процессе, заменять ошибочное продолжение и возобновлять работу без перебора исправлений во время запуска. В нерецензированном препринте Bolin Shen и Yushun Dong из Florida State University получили для ARIA больше успешных задач и меньше вредных вмешательств, чем у специализированных базовых методов; все числа в работе рассчитали сами авторы. Подход предлагает вынести дорогой поиск исправлений в подготовку данных и обучение, а в рабочем контуре оставить один инспектор.
Как неудачный запуск превращается в учебный пример
Локальная ошибка в мультиагентной системе редко остаётся локальной. Один агент неверно понимает задачу, следующий принимает его вывод за исходное условие, а ещё один вызывает инструмент с уже испорченными данными. Проверка только финального ответа показывает, что весь запуск провалился, но не объясняет, где его можно было спасти.
Для ARIA собрали более 24 000 успешных и неуспешных журналов выполнения. Они охватывают четыре мультиагентных каркаса, шесть бенчмарков и восемь моделей, которыми пользовались агенты. Из этих журналов получили 3 953 подтверждённые пары «сбой — исправление».
Подтверждение строится на парном запуске. Система сохраняет исходное продолжение как контроль, затем заменяет выбранный фрагмент и снова выполняет оставшиеся шаги. Пример попадает в набор данных, только если исправленная версия проходит проверку бенчмарка, а исходная — нет.
Каждая запись содержит диагноз, место вмешательства и новое продолжение. Это отличает набор от коллекций ошибок: модель видит не только то, какой агент ошибся, но и исполняемый вариант восстановления процесса.
Источники данных выбирали не по одной лишь частоте сбоев. Для каждой связки каркаса и бенчмарка оценивали произведение вероятности ошибки и вероятности успешно её исправить. Стабильная конфигурация даёт мало неудачных примеров, а нестабильная может производить ошибки, которые выбранный протокол не умеет чинить; полезный источник должен сочетать оба свойства.
Как инспектор учится вмешиваться избирательно
Обучение начинается с прямого воспроизведения структуры исправления: распознать проблему, выбрать точку разрыва и сформировать замену. Одновременно модель осваивает шлюз вмешательства — решение о том, появился ли в текущем журнале сбой, который уже требует реакции.
Затем обучение предпочтениям противопоставляет подтверждённое исправление исходному неудачному продолжению. Диагноз считают полезным, если с ним модель лучше предлагает исправления и для похожих случаев, а не только повторяет конкретный учебный пример.
На заключительном этапе предложения модели снова исполняют. Награда учитывает успешность всей задачи, вред от ненужного вмешательства и дополнительные вычисления. Шлюз обучают на паре запусков с одинаковыми исходными условиями: вмешательство получает положительную оценку, когда спасает задачу, и штраф, когда портит результат, который без него был бы верным.
Для ARIA на Qwen2.5-7B доля успешных задач составила 20,9% против 18,2% у SafeAgent. Частота вредных вмешательств оказалась ниже: 4,54% против 5,05%. На Magentic-One, журналы которого исключили из обучения и выбора контрольной точки, успешность сохранилась на уровне 21,0%.
Разбор этапов показывает разделение ролей. Обучение предпочтениям прежде всего помогает реже вмешиваться без необходимости, а повторное исполнение предложенных исправлений даёт основной прирост восстановленных задач. Вместе они учат модель не путать способность придумать правку с умением выбрать момент для неё.
Когда ARIA меняет архитектурный план
ARIA можно подключить без доступа к внутреннему устройству агентов, но принимающая система должна отдавать журнал выполнения и позволять заменить продолжение с выбранного места. Если процесс нельзя возобновить из промежуточного состояния, сначала понадобится добавить контрольные точки, сохранять сообщения и отделить уже выполненные действия от планируемых.
Второе условие — проверяемый итог. Набор нельзя собрать только из правдоподобных советов языковой модели: каждую правку требуется исполнить и проверить тем же критерием, который определяет успех задачи. Для кода таким критерием могут служить тесты; для бизнес-процесса понадобится собственная проверка результата и допустимых действий.
Работа меняет план команды, если мультиагентная система уже выполняет длинные процессы с дорогим повторным запуском. Вместо нескольких попыток после каждого сбоя можно накапливать подтверждённые ремонты вне рабочего контура, обучать отдельный инспектор и вызывать его один раз по ходу исполнения.
Эксперименты охватывают MetaGPT, OpenManus, Magentic-One и AG2, задачи по математике, знаниям и программированию, а также несколько семейств моделей. Проверки проводили на бенчмарках и машинных журналах, а не в производственных или критичных процессах. Поэтому ARIA пока задаёт схему для пилота, а не заменяет ограничения на действия и человеческое подтверждение там, где ошибку нельзя безопасно откатить.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
