Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Безопасность автономных ИИ-агентов сильнее зависит от доступных им знаний и прав на действия, чем от способности рассуждать. Hendrik Luuk в нерецензированном препринте, где числа получил сам автор, показал: более эффективный поиск ускоряет работу, но не отменяет задержки экспериментов и согласований. Значит, при проектировании агентной системы нужно в первую очередь ограничивать инструменты, данные и полномочия.
Работа разделяет возможности агента на три составляющие: интеллект помогает находить новое знание, готовые инструкции позволяют действовать без сложных рассуждений, а прямой контроль даёт результат даже без глубокого понимания задачи. Умная модель не повлияет на внешний мир, если не может получить нужные сведения или выполнить действие; модель с широкими полномочиями, напротив, способна причинить ущерб и при среднем качестве рассуждений.
Интеллект в модели означает, насколько хорошо агент выбирает полезные гипотезы для проверки. Поиск ускорял достижение конечного результата в 1,8–8,9 раза, но выигрыш оставался ниже теоретического потолка в девять раз. Большой разрыв возникал в зашумлённом пространстве гипотез, где слабый агент тратил время на бесполезные варианты. Если каждую догадку всё равно нужно физически проверить, длительность проверки задавала абсолютный срок работы.
Подход проверяли в шести синтетических сценариях с пятью уровнями интеллекта. Они различались начальным объёмом знаний, скоростью цифровых и физических проверок, а также наличием обязательных разрешений. Это проверка формальной модели на искусственных поисковых пространствах, а не замер развёрнутых агентных систем.
Для цифровых продуктов вывод жёстче: быстрые проверки ослабляют физический барьер, поэтому решающим становится контроль. Практическая архитектура должна выдавать минимальные права, разделять обязанности, требовать независимого подтверждения для критических операций и ограничивать доступ к чувствительным знаниям. Такие меры перекрывают путь от найденной идеи к действию, не ухудшая саму модель и сохраняя её полезность в рекомендательном режиме.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
