Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
LLM-агента научили сначала выбирать общую стратегию, а уже затем извлекать конкретные процедуры из памяти. В нерецензированном препринте Microsoft AI, где все числа получили сами авторы, система TalentRL опередила сильнейшие методы на Search7 вплоть до 1,23 процентного пункта. Для команд с плоской библиотекой навыков работа предлагает дополнительный уровень маршрутизации, но требует изменить и обучение, и сбор траекторий.
Стратегия направляет поиск, но не блокирует навыки
Обычный агент с процедурной памятью хранит инструкции на естественном языке и подбирает их по сходству с задачей. Такой поиск отвечает на вопрос, какие процедуры похожи на запрос, но не определяет общий способ решения: сначала найти промежуточную сущность, сравнить два свидетельства или сузить список кандидатов по ограничениям.
TalentRL добавляет между задачей и навыками каталог стратегий верхнего уровня. Авторы называют их «талантами». У каждой стратегии есть описание для маршрутизации, инструкция для выполнения и связи с подходящими навыками.
Перед выполнением задачи та же модель, которая затем будет действовать в среде, выбирает стратегию и кратко объясняет выбор. Например, вопрос об авторе книги может получить стратегию поиска промежуточной сущности: сначала определить книгу и автора, затем искать место рождения.
Выбранная стратегия влияет на память двумя способами. Агент получает её текстовую инструкцию, а связанные с ней навыки получают прибавку к оценке сходства. Это мягкий приоритет, а не фильтр: навык из другой группы всё ещё попадёт в контекст, если хорошо соответствует задаче.
Такой подход сохраняет внешнюю процедурную память доступной для проверки и редактирования. При этом модель учится не выбирать отдельный навык напрямую, а задавать направление, в котором обычный поиск формирует набор процедур.
Контрольные прогоны отделяют выбор стратегии от исполнения
Итоговая награда сама по себе не показывает, почему агент справился. Успех мог обеспечить правильный выбор стратегии, удачно извлечённый навык или последующее выполнение. Если назначить одну награду всем ответам модели, маршрутизатор получит шумный обучающий сигнал.
До обучения с подкреплением TalentRL собирает примеры для обучения на готовых траекториях. Для одной задачи система проверяет разные стратегии и сравнивает их с обычным поиском навыков без стратегического слоя. В обучающий набор попадает завершённая корректная траектория, где лучшая стратегия дала положительную разницу в награде.
На следующем этапе агент выполняет задачу с выбранной стратегией и полным контекстом навыков. Этот результат сравнивают с тремя согласованными контрольными прогонами: без извлечённых навыков, с сокращённым набором навыков и без инструкции стратегии вместе с её прибавкой при поиске.
Задача при этом остаётся той же, поэтому разница в награде показывает пользу контекста, который сформировала стратегия. Этот контраст обучает токены ответа, отвечающие за маршрутизацию. Действия после выбора стратегии получают отдельную относительную оценку: результат одного прогона сравнивают с другими прогонами той же задачи.
Важно, что метод оценивает не название выбранной стратегии в изоляции. Он измеряет совместный эффект её инструкции и изменённого набора навыков. Поэтому TalentRL подходит для систем, где маршрутизация должна управлять контекстом, а не только присваивать задаче метку.
Планы стоит менять при сложных задачах и накопленной памяти
Метод проверили на трёх моделях с 7–8 млрд параметров, семи наборах вопросов с одним или несколькими переходами и двух интерактивных средах — ALFWorld и WebShop. На Search7 средний успех итоговых моделей лежал в диапазоне 43,13–43,89% и оказался выше всех сравнённых вариантов для каждой базовой модели.
На ALFWorld агент достиг 99,3% успешных эпизодов. На WebShop он получил лучший среди сравнённых методов средний балл 90,7, но по доле полностью успешных заданий результат 79,6% остался вторым после Skill1. Это различие важно: более высокий средний балл не означает лидерство по каждому критерию.
Сравнение также охватывает всю схему целиком. TalentRL начинал обучение с траекторий, уже размеченных стратегиями, тогда как остальные методы стартовали с контрольной версии обучения на навыках. Поэтому итоговая таблица подтверждает пользу связки из подготовки данных, иерархического поиска и контрастных наград, но не сводит преимущество только к последнему этапу.
Команде с небольшой однородной библиотекой процедур новый слой может лишь добавить стоимость. Каждый учебный пример требует нескольких согласованных прогонов, а каталог стратегий и связи с навыками нужно создать и поддерживать.
Архитектуру стоит пересматривать, если память уже разрослась, задачи требуют разных способов рассуждения, а поиск по сходству возвращает формально подходящие, но бесполезные инструкции. В таком случае над существующим хранилищем можно добавить явный каталог стратегий, оставить мягкое ранжирование навыков и раздельно оценивать решение маршрутизатора и дальнейшие действия агента.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
