Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Решения ИИ-агента можно улучшать по накопленной истории, не дообучая языковую модель и не меняя её веса. В нерецензированном препринте, где все числа получены самими авторами, DPDM превзошёл обучение на примерах в запросе у каждого проверенного кодировщика и во всех категориях задач. Для разработки агентов это предлагает отдельный компонент, который учится использовать обратную связь из эксплуатации.
Языковая модель понимает запись, LimiX-2 ищет закономерность
Обычный агент часто поручает одной LLM сразу три операции: понять запрос, извлечь закономерность из прошлых примеров и выбрать действие. DPDM разделяет их. Языковая модель преобразует текущую ситуацию, историю и варианты ответа в числовые представления, а отдельный предсказатель сопоставляет их с известными результатами прошлых решений.
Авторы называют эту вторую операцию условным предсказанием (conditional prediction). Предсказателю дают записи из истории, правильные ответы или наблюдаемые исходы для этих записей и новый случай с неизвестным результатом. На выходе он возвращает вероятности вариантов, после чего простое правило выбирает вариант с наибольшей вероятностью.
В реализации роль предсказателя выполняет LimiX-2 — модель, заранее обученная работать со структурированными данными. Для всех задач используется один и тот же экземпляр LimiX-2. Меняются схема записи, история и формулировка цели, но веса предсказателя и языковой модели остаются замороженными.
Новые результаты добавляются как строки истории. Система заново подготавливает признаки для обновлённого набора, но не запускает обучение нейросетей. Уже рассчитанные представления можно переиспользовать, если кодировщик и структура записи не изменились.
Схему проверяли на 50 бенчмарках из пяти категорий: агентные задачи, вопросы на знания, проверка согласованности с доказательствами, безопасность и понимание языка. Семантическими кодировщиками служили четыре модели семейств Qwen3.5 и Llama-3.1, а предсказателем во всех опытах оставался LimiX-2. Такое покрытие показывает переносимость интерфейса между разными типами решений, но не доказывает, что он одинаково сработает с любой производственной историей.
Одинаковая история приносит больше точных решений
С Qwen3.5-27B средняя точность DPDM достигла 84,92% против 78,80% у few-shot prompting, где примеры помещают прямо в запрос к модели. Разрыв сохранился и в сравнении на полностью одинаковых историях и запросах: DPDM получил 82,33%. Значит, преимущество объясняется не только тем, что новая архитектура способна обработать больше записей.
На ToolPRMBench BFCL, где нужно определить применимость инструмента к запросу, абсолютный прирост составил 34,26 процентного пункта. Контрольные опыты показали, что результат зависит именно от связи между записью и её меткой: перемешивание правильных ответов между историческими случаями резко ухудшало точность. Разные наблюдения также приносили больше пользы, чем многократное повторение одних и тех же примеров.
Архитектура сокращала и вычислительные затраты, потому что не отправляла всю историю в языковую модель для каждого нового запроса. В отдельном замере полный конвейер занял на 80,3% меньше времени GPU, чем few-shot prompting с кэшированием. В расчёт входили подготовка истории и обработка одинаковых наборов запросов.
Когда DPDM меняет архитектурный план агента
Работа предлагает пересмотреть границу между LLM и памятью агента. Хранилище опыта здесь содержит не просто тексты удачных диалогов, а структурированные записи с наблюдаемым результатом: сработал ли инструмент, какой вариант предпочли, был ли шаг рассуждения верным. Без такой цели предсказателю нечему учиться на истории.
Поэтому DPDM подходит прежде всего для повторяющихся решений, где команда может сохранить контекст, список кандидатов и итоговую метку в единой схеме. Это может быть маршрутизация запросов, выбор инструмента, оценка промежуточного шага или ранжирование нескольких ответов. Для каждого типа решения потребуется определить, что считается результатом и как превратить вероятность в действие.
Практический план состоит из трёх отдельно заменяемых частей: семантического кодировщика, предсказателя по истории и правила выбора. Более подходящую LLM можно подключить, не меняя механизм работы с обратной связью; новый предсказатель можно проверить на тех же сохранённых представлениях. Такая граница также позволяет измерять две причины ошибки отдельно: истории могло не хватить либо система не смогла извлечь из неё доступную закономерность.
DPDM не заменяет сбор качественной обратной связи. Напротив, он делает её частью интерфейса системы и требует сохранять связь между условиями решения и исходом. Если продукт уже накапливает такие записи, отдельный предсказатель можно тестировать рядом с существующим агентом без дообучения основной LLM. Если история остаётся набором неразмеченных диалогов, сначала придётся спроектировать события, метки и правила их получения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
