Журнал · Rit.work

LAQ сжимает модели управления роботами, сохраняя предсказанное будущее

LAQ переводит модели управления роботами на 4 бита, сокращает пиковую память в 2,3 раза и почти сохраняет качество 16-битной версии.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Модели управления роботами удалось сжать до 4 бит, не разрушая предсказание того, как изменится сцена. LAQ оставил Fast-WAM в 1,2 процентного пункта от 16-битной версии; работа Nanyang Technological University и Nanjing University пока не рецензирована, а числа в ней получены самими авторами. Метод снижает требования к памяти и позволяет запускать такие модели на бортовом компьютере робота с небольшой потерей качества.

Модели действий с предсказанием мира (WAM) одновременно строят будущие кадры сцены и выбирают движение на их основе. Обычная квантизация защищает итоговое действие, но портит промежуточное предсказание: в Fast-WAM восстановление будущего в полной точности убрало 71,2% оставшейся ошибки действия.

LAQ оценивает, какие части предсказанного будущего сильнее влияют на движение, и учитывает, сколько раз модель читает каждую ошибку округления во время пошагового уточнения результата. Токены, на которые обращает внимание блок действий, проходят второй 4-битный расчёт. Все веса остаются 4-битными, отдельной ветви высокой точности и повторного обучения нет; кеш ключей и значений также хранится в 4 битах.

Для Fast-WAM метод сократил размер модели в 3,8 раза, пиковое потребление памяти — в 2,3 раза, а один вызов выполнялся в 1,66 раза быстрее 16-битной версии. При этом сравниваемые методы оставляли кеш в 16-битном формате, но на LIBERO-Plus уступили LAQ.

Проверка охватывает Fast-WAM и Cosmos-Policy в симуляторах LIBERO-Plus и LIBERO, а также Fast-WAM на манипуляторе AgileX PiPER. В трёх физических задачах LAQ показал 47% успешных попыток против 52% у 16-битной модели и 17% у QuaRot. Это пока узкий масштаб, но он подтверждает главный практический результат: при сжатии WAM нужно сохранять не только команду роботу, но и будущее, из которого модель её выводит.

Источники

Иллюстрация: рисунок из статьи «Don't Lose the Future: Latent-Aware 4-Bit Quantization of World Action Models», Yichen Guo, Yanlong Chen, Xinyue Zhang и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу