Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Цель многошаговой задачи научились сохранять отдельно от текста, который LLM генерирует на каждом шаге. В препринте University College London, который не проходил рецензирование и содержит замеры самих авторов, модель удержала цель в 100% тестов после выхода исходной инструкции за контекстное окно, тогда как обычная авторегрессионная модель получила 0%. Такой подход может заменить постоянное расширение контекста там, где агент долго следует одной цели.
Архитектура LS-AR разделяет управление на два канала. Первый декодирует очередной токен, второй хранит цель как непрерывный вектор — числовое представление смысла задачи. Этот вектор меняет внутренние состояния декодера через FiLM: отдельные слои масштабируют и сдвигают признаки с учётом цели, не добавляя её текст в контекст на каждом шаге.
Авторы проверили два варианта. Статический кодировщик один раз строит вектор цели и сохраняет его на всём пути. Динамический трекер обновляет вектор после значимых действий, поэтому модель может учитывать вынужденную ошибку или изменение состояния среды.
В синтетической задаче Treasure Hunt инструкция уже не помещалась в окно из 500 токенов, когда длина последовательности достигала 1024 токенов. LS-AR продолжала находить смысловую цель во всех случаях и работала примерно на 35% быстрее сопоставимой по числу параметров модели; пиковое потребление видеопамяти сократилось примерно вдвое. Выигрыш появился потому, что основную генерацию выполнял более короткий декодер, а цель кодировалась отдельно.
В Blocksworld динамический вариант завершил 89% планов после одной принудительной ошибки против 71% у базовой модели. Однако при переходе от пяти знакомых объектов к шести незнакомым успех упал до нуля: один вектор удерживает цель, но не даёт автоматического обобщения на более сложную структуру.
Работу проверяли только на синтетических средах и моделях до 85 млн параметров, сравнивая LS-AR с обычными декодерами без внешней памяти. Поэтому результат показывает перспективное направление архитектуры для длинных процессов, но пока не доказывает выигрыш на крупных LLM и рабочих агентных системах.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
