Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Leap-VLA позволяет роботу быстро корректировать движения, не прогоняя крупную модель понимания сцены на каждом шаге управления. В препринте, который не прошёл рецензирование и где все числа получили сами авторы, команда Embodied Algorithm Group и Leapmotor подняла успех на LIBERO-Spatial с 61,4% до 95,5% при редком обновлении семантики. Такая схема снимает VLM с критического пути, но требует специально учить систему работать с устаревшим контекстом.
Два контура вместо одного запуска VLM на каждом шаге
Обычная модель «изображение — язык — действие» заново обрабатывает камеру и инструкцию перед каждым планированием движения. Это связывает две разные частоты: состав сцены меняется примерно раз в секунду, а управление должно реагировать на движение, контакт и отклонение робота 20–50 раз в секунду.
Leap-VLA делит эту работу между медленным и быстрым контурами. Медленный контур на базе Qwen2.5-VL-2B читает инструкцию и изображение, формирует семантический контекст и сохраняет его в кеше. Обновление идёт асинхронно: контур управления не ждёт завершения VLM.
Быстрый контур запускает отдельного эксперта действий. Он использует сохранённый контекст, текущее состояние робота и свежие изображения с компактного кодировщика. Этот кодировщик заранее обучили на видео с роботами восстанавливать скрытые участки кадра, оценивать движение пикселей и глубину, а при обучении Leap-VLA зафиксировали его веса.
Текущее состояние робота намеренно не помещают в кеш. Иначе оно устареет сразу после движения и начнёт противоречить свежим данным. Состояние поступает прямо эксперту действий, который также получает измеренный возраст кеша и учитывает его при обработке каждого слоя.
Возраст кеша пришлось превратить в обучающий сигнал
Простое повторное использование контекста не сработало. Модель, обученная только со свежими признаками, продолжала доверять старому изображению после того, как робот или объект уже переместился.
Во время обучения Leap-VLA получает кеши разного возраста из истории реальных эпизодов. Чем старше кеш, тем сильнее система портит сохранённый снимок на уровне пикселей. Так эксперт учится переносить вес со старого семантического контекста на свежий видеопоток и состояние робота.
На LIBERO-Spatial при обновлении семантики раз в 2 секунды базовый вариант достиг 61,4% успешных эпизодов, а полная схема — 95,5%. В среднем по наборам LIBERO результат составил 94,5% против 96,3% у контрольного варианта, где частоты обучения и запуска совпадали.
Для границ между пакетами действий авторы добавили soft-nudge — коррекцию, которая подтягивает новый пакет к уже исполняемому. Она работает только на прямом проходе, не считает градиенты во время управления и не добавляет ожидание в критический путь.
Проверка охватывает одну архитектурную семью, наборы LIBERO, их варианты с изменённой средой и небольшую серию испытаний на реальных роботах. Основные среды остаются квазистатическими, а система умеет обращаться только с тем возрастом кеша, который встречался при обучении: свежий поток помогает реагировать, но не восстанавливает события, которых нет ни в одном входном сигнале.
Когда двухконтурная схема меняет архитектурный план
Работа меняет план для систем, где VLM уже ограничивает частоту управления или не помещается в бюджет вычислений на устройстве. Вместо уменьшения всей модели можно оставить крупную семантическую часть на медленном контуре, а в быстрый путь вынести состояние робота, компактное зрение и генерацию действий.
Кеш здесь нельзя рассматривать как обычную оптимизацию вывода. Возраст контекста становится частью состояния политики, поэтому его нужно записывать, передавать модели и воспроизводить при обучении. Нужен и отдельный свежий канал: одна отметка времени не сообщает эксперту, куда сдвинулся объект.
Асинхронность также придётся проверять в реальном стеке, а не только имитировать задержкой в датасете. Leap-VLA учитывает фактический возраст кеша с отклонениями планировщика и не блокирует быстрый контур при обновлении VLM. Для внедрения это означает отдельные очереди, метки времени и правила сброса кеша при перезапуске эпизода.
Подход пока не даёт оснований отказаться от частого восприятия в динамичных сценах. Он показывает более узкий результат: семантику можно обновлять реже, если быстрый эксперт видит свежую геометрию, знает возраст контекста и обучен на таком рассогласовании. Без этих трёх условий кеширование способно резко ухудшить управление, хотя отдельные компоненты модели работают правильно.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
