Журнал · Rit.work

Журнал провалов для LLM-агентов: как проверять автономные эксперименты

Внешний контур управления записывает каждую попытку LLM-агента и показывает нарушения, сбои и повторные ошибки, которые скрывает лучший результат эксперимента.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Оценку LLM-агентов для экспериментов с машинным обучением предложили дополнить журналом всех попыток: успешных, неудачных и запрещённых. В нерецензированном препринте числа получил сам автор, Dowling Wong из Karlsruhe Institute of Technology: цикл, который записывал только успешные попытки, потерял 43 из 50 записей, тогда как вынесенный контур управления сохранил каждую. Для команд это сдвигает критерий готовности агента: важен не только лучший показатель модели, но и возможность восстановить путь к нему.

Лучший результат скрывает качество экспериментального процесса

Обычно агента оценивают по лучшему результату, которого он достиг. Такой подход не показывает, менял ли агент защищённые файлы, сколько запусков завершилось ошибкой и не повторял ли он одно неудачное предложение, пока случайно не нашёл рабочий вариант.

Это различие особенно заметно в автономном цикле. Агент предлагает правку, запускает обучение, смотрит на показатель качества и выбирает следующий шаг. Если тот же процесс решает, какие попытки записывать, он может оставить только успешную ветку и стереть контекст, без которого результат нельзя проверить.

Обычный трекер экспериментов решает соседнюю, но не ту же задачу. Он сохраняет уже начавшиеся запуски и их показатели, однако сам по себе не проверяет допустимость правки до запуска и не гарантирует, что ошибка агента получит отдельную запись.

Работа предлагает оценивать не только итоговый показатель, но и долю недопустимых действий, частоту повторения плохих предложений и полноту прослеживаемости. Последняя означает, что решение принять или отклонить изменение связано с предложением агента, правкой, журналом запуска и полученным показателем.

Контур управления не отдаёт агенту право судить самого себя

Предложенная схема разделяет три роли. LLM формулирует ограниченное изменение, исполнитель применяет его и запускает эксперимент, а отдельный контур управления проверяет область правки, разбирает результат и решает, сохранить изменение или отклонить.

Перед запуском контур записывает признак незавершённой попытки. Если процесс упадёт, оставшийся признак не позволит открыть следующую попытку, пока сбой не попадёт в журнал. Так авария превращается в классифицированный результат, а не в пустое место между соседними запусками.

Для каждой попытки журнал хранит предложение, ссылку и контрольную сумму правки, исходный журнал запуска, разобранный показатель, принятое решение и категорию ошибки. Записи только добавляются: агент не может переписать историю после того, как увидел результат.

На 1 445 попытках в шести задачах полнота прослеживаемости составила 100%. Даже серия из 120 полностью провалившихся запусков осталась видимой, а контрольные суммы состояния обнаружили неправильный сброс среды, после чего затронутые серии запустили заново.

Один и тот же контракт проверили на синтетической логистической регрессии, табличных задачах OpenML, векторизации NumPy, классификаторе ResNet и предварительном обучении GPT. Бюджеты экспериментов были короткими, влияние памяти агента менялось от задачи к задаче, а улучшение целевого показателя не служит главным доказательством. Работа показывает, что учёт можно обеспечить технически, но не проверяет, насколько такой журнал ускоряет аудит людьми.

Архитектуру агента стоит менять, модель — не обязательно

Для команды, которая строит автономный цикл экспериментов, вывод практический: жизненный цикл попытки нельзя оставлять внутри LLM-агента. Модель должна предлагать действие, но не определять допустимость собственной правки, не выбирать записи для истории и не подтверждать свой результат.

Это не требует привязывать систему к конкретной LLM или исполнителю. Контракт контура управления остаётся тем же при замене модели, способа генерации правок или задачи. Значит, сравнивать модели можно по одному журналу и не менять правила учёта вместе с каждым новым агентом.

В план разработки стоит включить белый список редактируемых файлов, явные конечные состояния попытки и независимое правило принятия результата. Любой открытый запуск должен завершаться записью: изменение принято, отклонено или признано недопустимым. Сводные показатели затем вычисляются из журнала, а не из отчёта самого агента.

Трекер экспериментов при этом можно сохранить для показателей и артефактов. Но право открыть попытку, проверить область изменений и закрыть её с однозначным статусом должно принадлежать внешнему контуру.

Работа не доказывает, что такой подход помогает агенту находить лучшие модели. Она меняет другое решение: готовность автономной системы следует проверять по полноте истории и соблюдению правил, а лучший результат рассматривать только вместе с доказательствами того, как он получен.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу