Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Риск изменения уже работающего ИИ-агента можно оценить без полного повторного испытания, если журналы и состояния среды подготовлены заранее. В agent-risk журнал из 7200 эпизодов не позволил принять решение по двум новым шлюзам, а точечные повторные запуски дали те же решения, что испытания изменённого агента, при вдвое меньшем числе вызовов модели; препринт не рецензирован, и все числа получили сами авторы. Для команды это означает, что состав журналов нужно проектировать вместе с агентом, а не после инцидента или перед аудитом.
agent-risk воспроизводит записанный эпизод до первого шага, на котором новое правило меняет поведение системы. Если агент действует как раньше, результат уже известен из журнала. Если шлюз останавливает эпизод, команда должна заранее определить последствия остановки; если он отклоняет действие и разрешает повторную попытку, дальнейшего поведения в журнале нет, поэтому нужен запуск из сохранённого состояния или консервативная верхняя граница риска.
Для такого воспроизведения журнал должен хранить входы каждого шага, вызовы инструментов, оценки проверяющей модели, случайные начальные значения и итог эпизода. Вред нужно отмечать по шагам: без времени его появления нельзя понять, случился ли он до остановки. В эксперименте отсутствие этой детали увеличивало подтверждённую верхнюю границу вреда до 2,5 раза. Также нужно фиксировать режим запуска модели и сохранять состояние рабочей среды в точках, где новый шлюз впервые меняет решение.
Метод предполагает, что вместе со шлюзом незаметно не меняются модель, инструменты и среда, а агент не знает о проверке заранее. Его проверяли на моделях одной открытой серии в командной песочнице и среде бронирования авиабилетов, включая останавливающие и повторные шлюзы, смену модели и общую среду для нескольких агентов. Агенты не пытались обходить контроль, поэтому выводы напрямую относятся к обычным рабочим сценариям, но не к системам, которые распознают аудит и меняют стратегию.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
