Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агент для компьютера стал чаще выполнять задачи в научном ПО без дообучения базовой модели. ScienceCUA дала до 17,12 процентного пункта к успешности, хотя работа не рецензирована и все числа получили сами авторы. Для таких систем это сдвигает центр разработки с подсказок модели на внешнюю библиотеку процедур и её проверку в рабочем окружении.
Документацию делят на процедуры и справочник
Прямая загрузка руководства в контекст модели помогает мало и увеличивает время работы: в длинном документе инструкции смешаны с объяснениями, а конкретной задаче нужна лишь небольшая часть текста. ScienceCUA вместо этого преобразует PDF- и HTML-документацию в два вида ресурсов — Skills и References.
Skill описывает законченную процедуру: для какой задачи она подходит, какие условия нужны перед запуском и какие действия следует выполнить. Например, построение трёхмерного графика в KAlgebra становится отдельным навыком с последовательностью шагов.
Reference хранит сведения, которые пригодятся в разных процедурах: команды, синтаксис, ограничения параметров и сочетания клавиш. Формулы для корней и степеней не встраивают в каждый навык KAlgebra — агент запрашивает их из справочника по мере необходимости.
Конвейер сначала разбирает структуру документа и сохраняет ссылки на исходные фрагменты. Затем отдельные агенты извлекают справочные записи, находят поддерживаемые программой пользовательские задачи, восстанавливают для них последовательности действий и ожидаемых состояний интерфейса, а после объединяют похожие последовательности в навыки. Каждая команда или процедура должна опираться на конкретное место в документации.
При выполнении задачи агент выбирает навык по названию и описанию, а затем обращается к подходящим справочным записям. Такое разделение не заставляет модель каждый раз перечитывать руководство и не смешивает устойчивую процедуру с деталями синтаксиса.
Неудачный запуск становится тестом для нового навыка
Начальная библиотека неизбежно расходится с рабочей средой. Руководство может относиться к другой версии программы, описывать слишком широкую область или не содержать деталей, которые нужны конкретной задаче.
ScienceCUA хранит для каждой задачи историю неудачных действий, снимки интерфейса и результат проверки. Следующая попытка получает эту историю, но снова начинает с исходной библиотеки. Так агент может обойти уже проверенный тупик, не превращая случайную догадку в постоянное правило.
После ошибки система определяет, что помешало выполнению. Ошибка распознавания или управления интерфейсом не меняет библиотеку. Неверная инструкция запускает пересмотр существующего навыка или справочной записи. Пробел в знаниях заставляет вернуться к исходной документации и подготовить новый элемент, если для него нашлось подтверждение.
Кандидата проверяют в сброшенном окружении и новой сессии. Агент не видит прежнюю траекторию, диагноз ошибки и объяснение правки: он получает только временную библиотеку с одним изменением. Элемент сохраняют, только если он сам помогает выполнить задачу; после объединения правок затронутые навыки проходят повторную проверку.
Характерный сбой возник в Celestia: руководство направляло агента по старым путям меню, тогда как нужные переключатели уже находились в панели инструментов. Агент потратил все пять действий на поиск устаревшего интерфейса и не выполнил задачу. История запуска позволила перестать механически следовать инструкции.
На Grok-4.6 библиотека после эволюции подняла среднюю успешность с 44,70% до 54,59%. На GPT-5.5 результат вырос с 57,16% до 65,81%. Правки создавали на отдельном наборе задач, а проверяли на ранее не показанном наборе; полная схема также обошла Trace2Skill и SkillCAT.
Планы стоит менять вокруг библиотеки, а не модели
Работа предлагает практическую архитектуру для агентов, которые управляют специализированными программами. Процедуры и справочные данные стоит хранить вне параметров модели, связывать с исходными документами и обновлять только после независимого запуска. Тогда смена версии программы не требует сразу дообучать LLM.
В план разработки при этом входят не только модель и набор подсказок. Нужны журнал действий, возможность сбрасывать среду, автоматическая проверка результата и отдельные задачи для развития библиотеки. Без надёжного проверяющего механизма система не сможет отличить полезную правку от случайно успешной попытки.
Границы результата задаёт сам эксперимент: ScienceCUA проверяли на 168 задачах ScienceBoard-Verified в KAlgebra, Celestia, GRASS GIS, ChimeraX, Lean 4 и TeXstudio. Основные замеры провели с Grok-4.6 и GPT-5.5, а библиотеку замораживали перед итоговым тестом. Это подтверждает перенос правок между задачами внутри научного ПО, но не доказывает тот же эффект для произвольных сайтов и настольных приложений.
Схема особенно уместна там, где уже есть подробные руководства, действия можно воспроизводить, а правильный результат — проверить автоматически. Если продукт строится вокруг такого окружения, внешнюю библиотеку навыков следует закладывать как самостоятельный компонент, а не как разовую подготовку контекста перед запуском агента.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
