Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Видеоагент ForeSeek научили отвечать на вопросы по длинным роликам, не просматривая видео подряд. В замерах Yuchen Sun и соавторов он использовал в 2,5–4,4 раза меньше кадров, чем EVA, хотя работу ещё не рецензировали и числа получили сами авторы. Для систем анализа видео это переносит основную оптимизацию с модели на стратегию выбора фрагментов.
Поиск начинается с версии о непросмотренном видео
Обычный видеоагент получает вопрос, находит локально подходящий фрагмент, изучает его и решает, куда перейти дальше. Такой поиск реагирует на уже найденное, но не поддерживает общий план: неудачный переход часто превращается просто в потраченный запрос.
ForeSeek после первого разреженного просмотра делит временную шкалу на интервалы и хранит для каждого текстовую подсказку и степень важности. Одновременно агент формулирует проверяемое ожидание: какое событие должно находиться в выбранной непросмотренной части ролика и почему оно поможет ответить на вопрос.
Первый просмотр охватывает от 10 до 20 кадров, распределённых по всему видео с учётом его длительности. Затем агент выбирает интервал и запрашивает от 4 до 16 кадров, чтобы проверить конкретное ожидание, а не просто получить ещё один фрагмент.
Проверка может закончиться подтверждением, частичным подтверждением или отсутствием искомого события. Во втором случае ForeSeek сужает интервал и уточняет версию. В третьем — снижает важность этой области и переносит поиск в другую часть временной шкалы.
Отрицательный результат поэтому тоже меняет состояние поиска. Если агент ожидал увидеть подготовку к действию в середине ролика, но не нашёл её, он не продолжает двигаться рядом по инерции: интервал теряет приоритет, а следующая проверка опирается на оставшиеся версии. Это и отличает механизм от последовательного извлечения кадров по локальной похожести.
Короткий путь пришлось отдельно поощрять
Одной инструкции модели оказалось недостаточно. ForeSeek сначала дообучили на траекториях, где записаны ожидания, результаты проверок, изменения важности интервалов и возврат после ошибочной версии. Затем применили обучение с подкреплением: награду получает только правильный ответ, а для длинной траектории она уменьшается.
Такая схема не поощряет преждевременную остановку. Ошибочный ответ получает ноль независимо от того, насколько мало кадров потратил агент. Экономия становится полезной только после того, как модель научилась находить достаточные доказательства.
Проверка охватывает VideoMME, LongVideoBench, LVBench, VideoHolmes и MLVU без субтитров. ForeSeek сравнивали с агентами поиска и агентами, которые обучают выбирать кадры с подкреплением. На трёх из пяти наборов он сравнялся с EVA или превзошёл его, а на остальных отстал не более чем на 3 процентных пункта.
Относительно равномерной выборки кадров тем же Qwen3-VL-8B прирост точности составил от 1,7 до 10,5 процентного пункта. На вопросах, где действительно нужно проследить визуальные события во времени, выигрыш оказался выше; на VideoHolmes он достиг 17,6 пункта.
Границы сравнения существенны. LongVideoBench и VideoHolmes использовали при подготовке обучающих данных, тогда как VideoMME, LVBench и MLVU не использовали. Кроме того, большинство сопоставимых агентов построено на Qwen2.5-VL-7B, а ForeSeek — на более новом Qwen3-VL-8B, поэтому общий результат отражает и стратегию поиска, и различие базовых моделей.
Архитектуру агента стоит менять раньше, чем базовую модель
Работа меняет планы команд, которые анализируют многочасовые записи при ограничении на визуальные токены или число обращений к модели. Вместо цепочки независимых запросов агенту нужен постоянный объект состояния: интервалы временной шкалы, их приоритеты, ожидаемые события и история неудачных проверок.
Особенно важна обработка отрицательных результатов. В обычном конвейере пустой фрагмент часто отбрасывают. В схеме ForeSeek он исключает часть гипотез и влияет на следующий вызов инструмента. Это требует хранить не только найденные доказательства, но и области, которые уже проверили без результата.
Второе изменение касается обучения. Нельзя просто штрафовать систему за каждый дополнительный шаг: тогда агент начнёт отвечать до того, как соберёт доказательства. Награду за экономию следует связывать с правильностью ответа, как сделано в ForeSeek, а качество оценивать вместе с фактическим расходом кадров.
Перестраивать продукт вокруг ForeSeek пока разумно только для задач, близких к условиям работы: длинные видео, вопросы с вариантами ответа и итеративный доступ к отдельным фрагментам. Число просмотренных кадров также не заменяет замеры задержки и стоимости всей системы. Перед внедрением придётся проверить, не съедают ли выгоду дополнительные циклы модели, хранение состояния и вызовы инструментов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



