Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Короткие события в видеопотоке теряются не из-за качества распознавания, а потому, что модель отвечает слишком медленно. В препринте, который не прошёл рецензирование и где все числа получили сами авторы, запись по событию сохранила 100% целей, а единый конвейер с задержкой 1,5 секунды — 68,1%. Это меняет архитектуру устройств, которым нужно замечать прохожих, знаки или предметы, прежде чем они исчезнут из кадра.
Предложенная схема разделяет два срока. Сначала дешёвый постоянно работающий модуль складывает недавние кадры в ограниченную временную память. При появлении события отдельный механизм переносит нужный момент в постоянное хранилище, а мультимодальная модель распознаёт объект, вызывает инструменты и готовит ответ уже после этого.
Такой порядок снимает с большой модели жёсткое требование успеть, пока цель видна. Ответ может задержаться, но исходные кадры сохраняются вовремя. При едином конвейере любая цель, которая находится в кадре меньше времени обработки, пропадает до записи результата.
Проверка охватывает 796 траекторий объектов из MOT17 с реальными моментами входа и выхода из кадра. Это симуляция очередности операций: распознавание считается мгновенным, изображения и детектор не обрабатываются, а точность последующего ответа не измеряется. Поэтому эксперимент подтверждает временную логику схемы, но не работу готового агента на живом видео.
Для носимых устройств, роботов и систем видеонаблюдения вывод практический: сначала стоит задать допустимое время до сохранения кадра, объём временной памяти и правила отбора событий, а затем выбирать модель для анализа. Ускорение самой модели не заменяет этот слой, пока обработка занимает дольше, чем интересующий эпизод остаётся в кадре.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
