Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ускорение зрительно-языковой модели управления VLA научились выбирать с заранее заданным пределом новых сбоев. В препринте University of Maryland, University of Oxford и Google, который пока не рецензировали, приведены числа из замеров самих авторов. Для OpenVLA-OFT выбранные конфигурации работали до 10,8 раза быстрее и с 95-процентной уверенностью сохраняли не менее 85,8% эпизодов, решённых исходной моделью.
Средняя успешность не показывает, какие задачи сломало ускорение
VLA-модель получает изображение и текстовую команду, а затем выдаёт действия для робота или программного агента. Запускать большую модель на каждом шаге дорого, поэтому разработчики реже перепланируют действия, удаляют часть визуальных токенов, повторно используют вычисленные признаки или сокращают число уточнений.
Обычно такие варианты сравнивают по времени работы и средней доле успешных задач. Этого недостаточно: ускоренная модель может провалить задачу, которую решала исходная, но одновременно случайно справиться с другой. Средний показатель останется прежним и скроет регрессию.
Сравнение отдельных действий тоже не решает проблему. Как только ускоренная модель выбирает другое действие, меняются состояние среды, следующее наблюдение и вся оставшаяся траектория. Поэтому CARE оценивает полные парные эпизоды: исходная и ускоренная модели начинают с одной сцены, одной задачи и одинаковых случайных параметров.
Сбоем от ускорения считается только один исход: исходная модель завершила эпизод успешно, а ускоренная провалила его. Общие неудачи двух моделей не ухудшают оценку, а новые успехи ускоренного варианта не компенсируют сломанные задачи. Команда заранее задаёт допустимую вероятность такого события.
Как CARE выбирает самый быстрый допустимый вариант
Сначала CARE измеряет время работы всех конфигураций на отдельном наборе и располагает их от самой быстрой к самой медленной. Набор может включать разные длины блоков действий, степени удаления визуальных токенов, режимы кеширования признаков или сочетания этих приёмов.
Затем кандидатов последовательно проверяют на калибровочных эпизодах. Каждый раунд содержит одинаковую долю всех задач, поэтому лёгкие сценарии не могут попасть в начало проверки и преждевременно подтвердить небезопасный вариант. Статистический тест допускает остановку сразу после накопления достаточных доказательств и одновременно учитывает риск случайно одобрить хотя бы одного кандидата из всей группы.
CARE запускает дорогую исходную модель только тогда, когда ускоренный кандидат провалил эпизод. Если кандидат справился, он заведомо не вызвал искомый тип сбоя. Результат исходной модели сохраняется и повторно используется при проверке следующих конфигураций.
Система возвращает первый подтверждённый вариант, то есть самый быстрый среди прошедших проверку. Если данных не хватает ни для одного кандидата, остаётся исходная модель. После выбора CARE не добавляет вычислений во время эксплуатации: работает только выбранная конфигурация.
На наборах LIBERO эвристики без статистической гарантии превышали жёсткий бюджет риска в доле до 75% повторных испытаний. Последовательная проверка CARE потребовала на 78,9% меньше прогонов, чем полная оценка всех конфигураций. Тот же подход применили к сокращению числа шагов у π0.5 и к агентам Qwen3.5-9B и Llama-3.1-8B в Crafter, поскольку методу нужны лишь конечный исход эпизода и измеренная стоимость вычислений.
Когда эту проверку стоит добавить в план разработки
Работа меняет план команд, которые выбирают ускорение по средней успешности на проверочном наборе. Такой показатель стоит оставить для общей оценки модели, но допуск ускоренной конфигурации к эксплуатации лучше строить по полным парным эпизодам и отдельно контролировать задачи, сломанные относительно исходной политики.
Для этого проекту нужны эталонная конфигурация, однозначный признак успеха эпизода и набор начальных условий, близкий к рабочей смеси задач. Предел риска следует назначить до сравнения кандидатов, а измерение скорости отделить от калибровки. Иначе результаты, использованные для сортировки вариантов, повлияют и на их подтверждение.
Практическая цена метода — закрытые прогоны среды. Последовательная проверка сокращает их число, но не заменяет симулятор, стенд или другую систему, где можно многократно воспроизвести одну начальную сцену. Для продукта без повторяемых эпизодов CARE не превращается в готовую проверку одним вызовом.
Эксперименты охватывают OpenVLA-OFT и π0.5 в LIBERO, а также двух языковых агентов в Crafter. Это показывает переносимость между несколькими способами экономить вычисления, но сертификат относится к заданной смеси задач и только к ущербу от ускорения относительно эталона. Он не подтверждает абсолютную надёжность самой исходной модели.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
