Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Оценку LLM-агентов для экспериментов с машинным обучением предложили дополнить журналом всех попыток: успешных, неудачных и запрещённых. В нерецензированном препринте числа получил сам автор, Dowling Wong из Karlsruhe Institute of Technology: цикл, который записывал только успешные попытки, потерял 43 из 50 записей, тогда как вынесенный контур управления сохранил каждую. Для команд это сдвигает критерий готовности агента: важен не только лучший показатель модели, но и возможность восстановить путь к нему.
Лучший результат скрывает качество экспериментального процесса
Обычно агента оценивают по лучшему результату, которого он достиг. Такой подход не показывает, менял ли агент защищённые файлы, сколько запусков завершилось ошибкой и не повторял ли он одно неудачное предложение, пока случайно не нашёл рабочий вариант.
Это различие особенно заметно в автономном цикле. Агент предлагает правку, запускает обучение, смотрит на показатель качества и выбирает следующий шаг. Если тот же процесс решает, какие попытки записывать, он может оставить только успешную ветку и стереть контекст, без которого результат нельзя проверить.
Обычный трекер экспериментов решает соседнюю, но не ту же задачу. Он сохраняет уже начавшиеся запуски и их показатели, однако сам по себе не проверяет допустимость правки до запуска и не гарантирует, что ошибка агента получит отдельную запись.
Работа предлагает оценивать не только итоговый показатель, но и долю недопустимых действий, частоту повторения плохих предложений и полноту прослеживаемости. Последняя означает, что решение принять или отклонить изменение связано с предложением агента, правкой, журналом запуска и полученным показателем.
Контур управления не отдаёт агенту право судить самого себя
Предложенная схема разделяет три роли. LLM формулирует ограниченное изменение, исполнитель применяет его и запускает эксперимент, а отдельный контур управления проверяет область правки, разбирает результат и решает, сохранить изменение или отклонить.
Перед запуском контур записывает признак незавершённой попытки. Если процесс упадёт, оставшийся признак не позволит открыть следующую попытку, пока сбой не попадёт в журнал. Так авария превращается в классифицированный результат, а не в пустое место между соседними запусками.
Для каждой попытки журнал хранит предложение, ссылку и контрольную сумму правки, исходный журнал запуска, разобранный показатель, принятое решение и категорию ошибки. Записи только добавляются: агент не может переписать историю после того, как увидел результат.
На 1 445 попытках в шести задачах полнота прослеживаемости составила 100%. Даже серия из 120 полностью провалившихся запусков осталась видимой, а контрольные суммы состояния обнаружили неправильный сброс среды, после чего затронутые серии запустили заново.
Один и тот же контракт проверили на синтетической логистической регрессии, табличных задачах OpenML, векторизации NumPy, классификаторе ResNet и предварительном обучении GPT. Бюджеты экспериментов были короткими, влияние памяти агента менялось от задачи к задаче, а улучшение целевого показателя не служит главным доказательством. Работа показывает, что учёт можно обеспечить технически, но не проверяет, насколько такой журнал ускоряет аудит людьми.
Архитектуру агента стоит менять, модель — не обязательно
Для команды, которая строит автономный цикл экспериментов, вывод практический: жизненный цикл попытки нельзя оставлять внутри LLM-агента. Модель должна предлагать действие, но не определять допустимость собственной правки, не выбирать записи для истории и не подтверждать свой результат.
Это не требует привязывать систему к конкретной LLM или исполнителю. Контракт контура управления остаётся тем же при замене модели, способа генерации правок или задачи. Значит, сравнивать модели можно по одному журналу и не менять правила учёта вместе с каждым новым агентом.
В план разработки стоит включить белый список редактируемых файлов, явные конечные состояния попытки и независимое правило принятия результата. Любой открытый запуск должен завершаться записью: изменение принято, отклонено или признано недопустимым. Сводные показатели затем вычисляются из журнала, а не из отчёта самого агента.
Трекер экспериментов при этом можно сохранить для показателей и артефактов. Но право открыть попытку, проверить область изменений и закрыть её с однозначным статусом должно принадлежать внешнему контуру.
Работа не доказывает, что такой подход помогает агенту находить лучшие модели. Она меняет другое решение: готовность автономной системы следует проверять по полноте истории и соблюдению правил, а лучший результат рассматривать только вместе с доказательствами того, как он получен.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



