Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Модели управления роботами удалось сжать до 4 бит, не разрушая предсказание того, как изменится сцена. LAQ оставил Fast-WAM в 1,2 процентного пункта от 16-битной версии; работа Nanyang Technological University и Nanjing University пока не рецензирована, а числа в ней получены самими авторами. Метод снижает требования к памяти и позволяет запускать такие модели на бортовом компьютере робота с небольшой потерей качества.
Модели действий с предсказанием мира (WAM) одновременно строят будущие кадры сцены и выбирают движение на их основе. Обычная квантизация защищает итоговое действие, но портит промежуточное предсказание: в Fast-WAM восстановление будущего в полной точности убрало 71,2% оставшейся ошибки действия.
LAQ оценивает, какие части предсказанного будущего сильнее влияют на движение, и учитывает, сколько раз модель читает каждую ошибку округления во время пошагового уточнения результата. Токены, на которые обращает внимание блок действий, проходят второй 4-битный расчёт. Все веса остаются 4-битными, отдельной ветви высокой точности и повторного обучения нет; кеш ключей и значений также хранится в 4 битах.
Для Fast-WAM метод сократил размер модели в 3,8 раза, пиковое потребление памяти — в 2,3 раза, а один вызов выполнялся в 1,66 раза быстрее 16-битной версии. При этом сравниваемые методы оставляли кеш в 16-битном формате, но на LIBERO-Plus уступили LAQ.
Проверка охватывает Fast-WAM и Cosmos-Policy в симуляторах LIBERO-Plus и LIBERO, а также Fast-WAM на манипуляторе AgileX PiPER. В трёх физических задачах LAQ показал 47% успешных попыток против 52% у 16-битной модели и 17% у QuaRot. Это пока узкий масштаб, но он подтверждает главный практический результат: при сжатии WAM нужно сохранять не только команду роботу, но и будущее, из которого модель её выводит.
Источники
Иллюстрация: рисунок из статьи «Don't Lose the Future: Latent-Aware 4-Bit Quantization of World Action Models», Yichen Guo, Yanlong Chen, Xinyue Zhang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



