Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Самоулучшение ИИ-агента может потребовать больше токенов, чем выполнение всех порученных ему задач. В препринте Peking University, который не рецензировали и для которого числа получили сами авторы, простая заметка сравнялась по доле решённых задач со сложными методами или превзошла их. Поэтому расходы на поиск, проверку и запись улучшений нужно считать вместе с эксплуатацией агента, а не выносить за рамки оценки.
Полная стоимость включает даже отвергнутые улучшения
Работа рассматривает рекурсивное самоулучшение (recursive self-improvement) без изменения весов основной модели. Агент анализирует выполненные задачи и обновляет постоянное состояние: память, набор навыков, инструкции или управляющий код. Затем он использует это состояние в следующих задачах.
Авторы называют расход токенов на такой цикл RSI Tax — издержками самоулучшения. В них входят все входные и выходные токены, которые агент потратил на подготовку обновления. Если кандидат проверили и отвергли, его стоимость всё равно учитывается.
Полная стоимость складывается из токенов на исполнение задач и издержек самоулучшения. Чтение сохранённой памяти во время работы относится к исполнению, а повторный запуск уже завершённой задачи ради проверки нового навыка — к самоулучшению. Такой учёт не позволяет объявить метод экономным только потому, что его итоговая версия быстрее решает задачи.
Издержки разделили на проверку, исследование и запись. Проверка оценивает прежнее и новое состояние на известных задачах. Исследование включает дополнительные прогоны, анализ траекторий и поиск кандидатов, а запись создаёт заметку, навык, память или новую версию управляющего кода.
Методы сравнивали на двух моделях: DeepSeek V4.1 Flash и GPT-6 Luna. Потоки включали 105 репозиторных позиций из SWE-Chain-Evo и 89 задач Terminal-Bench 2.1 в фиксированном порядке. Результат каждой задачи записывали до того, как обратная связь попадала в следующее обновление.
В сравнении участвовали Static, ReasoningBank, Meta-Harness, EvoSkill, RRSI и простая стратегия SRN. Последняя после каждых четырёх завершённых задач переписывала ограниченную заметку на основе недавних неудач. Она не искала несколько кандидатов, не запускала дополнительные задачи и не проверяла новую заметку перед использованием.
Проверка кандидатов съедает основную часть бюджета
SRN использовал в среднем на 65,6–71,0% меньше токенов, чем Meta-Harness, EvoSkill и RRSI, при этом во всех сочетаниях модели и среды показал не меньшую долю решённых задач. Экономия возникла не из-за отказа от адаптации: SRN продолжал обновлять заметку, но не строил вокруг обновления дорогой поиск.
У трёх сложных методов проверка заняла 74,8–93,6% всех издержек самоулучшения. Они многократно запускали агента на уже известных задачах, чтобы сравнить действующее состояние с новыми кандидатами. В одном из прогонов повторная оценка сохранённых вариантов сама по себе обошлась дороже, чем обслуживание всего входящего потока задач.
Часть этой работы не дошла до эксплуатации. У ReasoningBank до 63,6% издержек относились к памяти или другим результатам, которые агент не использовал в последующих задачах наблюдаемого потока. Это не доказывает, что соответствующие вызовы можно удалить без последствий: они могли влиять на дальнейшие обновления, даже если созданный объект не попал в рабочий контекст.
Командам нужен бюджет на обучение во время эксплуатации
Работа меняет критерий выбора архитектуры агента. Сравнивать только качество итогового состояния и токены на его запуск недостаточно. В бюджет должны входить генерация кандидатов, повторные прогоны, проверка прежних вариантов и неудачные попытки обновления.
Практический стартовый вариант — добавить к эксперименту простую ограниченную память и считать её базовой стратегией. Более сложный поиск навыков или управляющего кода оправдан, только если прирост на последующих задачах перекрывает его полный расход. Сам факт, что агент умеет менять себя, такого преимущества не создаёт.
Особого контроля требует проверка кандидатов. Команда может заранее ограничить число повторных прогонов, выбирать только показательные задачи и прекращать поиск, когда ожидаемая экономия на оставшемся потоке становится меньше стоимости следующей проверки. Метрика должна учитывать и то, будет ли созданный навык достаточно часто попадать в рабочий контекст.
Вывод относится к исследованным потокам с фиксированными весами моделей: нескольким репозиторным цепочкам и одному порядку терминальных задач. Учёт выражен в токенах и сравнивает методы внутри одной модели; денежный бюджет потребует применить тариф конкретного API. Работа не показывает, что сложное самоулучшение бесполезно, но задаёт ему более строгий порог: улучшение должно окупить собственное получение.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
