Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Внешние инструкции агента можно улучшать, не раздувая набор правил и не отбрасывая временно слабые версии. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, AtomSearch обошёл SkillOpt на LiveMathematicianBench с deepseek-v4-flash на 9,68 процентного пункта. Для продуктовой команды это означает возможный обмен дополнительных вычислений при настройке на более компактный и управляемый навык.
Локальную правку оценивают по всей последующей ветке
Агентный навык здесь — это внешний набор инструкций, процедур и правил, который модель загружает при выполнении задачи. Параметры самой модели остаются замороженными: оптимизатор меняет только текст навыка.
Обычная последовательная оптимизация оставляет вариант, если тот сразу повышает результат на проверочной выборке. Такой подход понятен, но плохо учитывает зависимые правила. Первая правка может лишь подготовить условие, при котором следующая исправит нужное поведение.
AtomSearch разделяет размер изменения и момент его оценки. Каждое предложение выполняет одну операцию: добавляет, переписывает или удаляет правило. Вместе с правкой оптимизатор указывает связанные неудачные запуски, успешные примеры, которые нельзя сломать, предполагаемую причину ошибки и область действия нового правила.
Структурная проверка отклоняет дубликаты, пустые изменения и правки без требуемых свидетельств. Она не пытается определить, верна ли гипотеза по смыслу: это показывает повторный запуск агента на проверочной выборке.
Затем поиск строит дерево полных исполняемых навыков. Узел хранит конкретную версию инструкций, а ветвь — последовательность локальных изменений. При расширении узла система также пробует короткую композицию следующих правок. Если композиция работает лучше одиночного изменения, она становится новым узлом, к которому можно вернуться и добавить другие правила.
Отдельная память хранит направления уже испытанных правок: какие ошибки они исправили и какие правильные ответы сломали. Эти записи влияют на новые предложения, но не подменяют итоговую оценку состояния. Поэтому неудачная идея не исчезает бесследно, а общий балл не приписывается каждой правке внутри композиции.
Лучший навык проходит через временное ухудшение
На SpreadsheetBench путь к лучшему состоянию оказался немонотонным. После второй сохранённой правки точность составляла 52,50%, после следующей упала до 49,50%, а ещё через шаг выросла до 73,75%. Последовательный отбор только по текущему результату мог бы остановить эту ветвь на спаде.
Такая ситуация встречалась не в одном показательном запуске. В 67% завершённых поисков путь к лучшему состоянию проходил через узел, который уступал другому варианту на той же глубине дерева. Это не означает, что любой слабый результат стоит сохранять: дерево распределяет вычисления между продолжением известных ветвей и проверкой новых.
Метод выигрывал у SkillOpt не в каждой паре задачи и модели. Результат зависел от целевой модели: для GPT-5.5 одна половина задач осталась за AtomSearch, другая — за SkillOpt. Поэтому работа подтверждает пользу поиска альтернативных ветвей, но не даёт универсальной замены последовательной оптимизации.
Когда AtomSearch меняет планы разработки
Работу проверяли на четырёх задачах и пяти целевых моделях. В набор вошли работа с таблицами, ответы с поиском, математические задачи и внутренняя задача обнаружения сетевых атак. Основное сравнение проводили со SkillOpt при одинаковых исходных навыках и разбиениях данных; итоговый тест не использовали для предложения или выбора правок.
Самый практичный результат касается размера инструкций. С deepseek-v4-flash финальные навыки SkillOpt содержали в 2,3–19,7 раза больше символов. У AtomSearch нет отдельной цели сокращать текст, поэтому разница возникла из-за локальных правок и отбора состояний, а не из-за последующего сжатия.
Это меняет архитектурный выбор там, где один навык многократно используют в рабочем процессе. Более короткие правила проще просматривать, версионировать и связывать с конкретными сбоями. Они также снижают риск, что оптимизатор будет бесконечно добавлять исключения, ценность которых никто не проверял отдельно.
Цена подхода — дополнительные автономные запуски целевой модели. Короткая итоговая ветвь не означает дешёвый поиск: система оценивает и отбрасывает другие состояния. AtomSearch имеет смысл, когда стоимость такой настройки можно распределить между многими последующими выполнениями, а ошибки или разрастание инструкций обходятся дороже вычислений.
Для прототипа с небольшим числом запусков дерево может оказаться лишним. Для стабильного агента разумный план — сначала внедрить атомарный формат правок и учёт исправленных и сломанных примеров, а дерево подключать, если последовательный отбор регулярно упирается в плато. Различия в работе приведены как точечные оценки, без заявления о статистической значимости.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
