Журнал · Rit.work

TuringSpace учит модели пространственному мышлению через действия

Интерактивные CAPTCHA стали тренажёром, который учит мультимодальную модель действовать в пространстве и переносить этот навык с веб-головоломок на реальные сцены.

Rit.work
Студия разработки
20 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Интерактивные CAPTCHA научили мультимодальную большую языковую модель лучше понимать пространство через клики, перетаскивания и обратную связь с экрана. В препринте, который не проходил рецензирование, все числа получили сами авторы: после обучения доля решённых задач у Qwen3.5-9B выросла с 1,6% до 33,1%. Для разработчиков визуальных агентов это показывает практичный способ собирать проверяемые обучающие данные без ручной записи каждого действия.

CAPTCHA превращает пространственный ответ в последовательность действий

Обычный тест на пространственное мышление просит выбрать ответ по картинке. Модель может угадать вариант, исключить неподходящие ответы или опереться на особенности формулировки, не разобравшись в сцене.

TuringSpace проверяет навык иначе. В среде есть 125 типов интерактивных CAPTCHA, которые охватывают пять способностей: понимание пространственных отношений, мысленное преобразование объектов, манипуляции с обратной связью, планирование последовательности движений и отслеживание изменений во времени.

Модель видит снимок страницы и действует мышью. Клик задаёт точку, перетаскивание добавляет направление и расстояние, а следующий снимок показывает результат. Например, модель должна провести предмет вокруг препятствия, заметить, что он упёрся в стену, вернуть его назад и выбрать другое положение.

Каждая задача представляет собой программу, а не фиксированную картинку. Она меняет расположение объектов, материалы и точку обзора, автоматически проверяет итоговое состояние и содержит эталонную последовательность действий. Поэтому один шаблон создаёт много разных примеров, для которых заранее известен правильный результат.

Авторы отделили материалы и конфигурации для обучения от экземпляров, на которых сравнивали модели. Задачи также проходили программные проверки, запуск эталонного решения и ручную проверку людьми. Такой дизайн снижает риск, что модель запомнит конкретную картинку или пройдёт CAPTCHA случайными кликами.

Долгое рассуждение не исправляет неверно прочитанный экран

Люди решили 94,1% заданий, а лучший результат среди проверенных моделей показала GPT-6 Astra — 74,1%. Самый заметный разрыв возник не в управлении мышью: сильные модели обычно выбирали нужные координаты, но неверно распознавали расположение, форму или состояние объектов.

Обратная связь сама по себе проблему не устранила. Даже когда очередной снимок показывал последствия действия, модель часто сохраняла первое объяснение сцены. Последующее рассуждение не проверяло исходную гипотезу, а подбирало под неё несуществующие визуальные детали или предполагаемые правила головоломки.

Разбор неудачных попыток открытых моделей показал ещё один сбой. Модель могла вычислить правильное решение, а затем вернуться к первоначальному ошибочному варианту. Увеличивать длину рассуждения без механизма повторной проверки изображения поэтому недостаточно: дополнительные токены иногда лишь укрепляют ошибку.

После обучения TuringSpace-9B улучшила результат на всех семи внешних наборах задач. В VSI-Bench, где нужно понимать пространство по видео реальных помещений, прибавка составила 9,9 процентного пункта. Улучшения также затронули другие CAPTCHA, выбор точек на объектах и оценку того, как с ними можно взаимодействовать.

Когда TuringSpace меняет планы разработки агента

Работа предлагает полезный шаблон для команд, которые строят агентов по снимкам экрана. Вместо набора размеченных изображений можно создать программную среду с генератором сцен, автоматической проверкой результата и эталонным исполнителем. Повторяя его действия, команда получает траектории, где каждый шаг связан с новым визуальным состоянием.

Для обучения TuringSpace-9B использовали 55 000 таких проверенных траекторий. В них модель училась не только на финальном ответе, но и на связи между действием и его видимым последствием. Это ближе к рабочему циклу агента, чем обучение на вопросах с выбором ответа.

Подход имеет смысл, если продукт должен перемещать объекты в интерфейсе, работать с картами и схемами, выбирать точки на физических предметах или принимать решения по последовательности кадров. В таком проекте стоит заранее закладывать генератор ситуаций и автоматический проверяющий модуль, а не рассчитывать только на универсальную модель и длинную инструкцию.

Границы результата заданы самой проверкой: обучение провели на одной модели размером 9B и на синтетических браузерных головоломках, а перенос оценивали на наборах пространственных задач, видео и робототехнических указаний. Работа не показывает, что тот же рецепт автоматически улучшит обычную навигацию по деловым веб-приложениям, где ошибки чаще связаны с текстом, состоянием процесса и неоднозначными правилами.

Для CAPTCHA вывод обратный: пространственная интерактивность пока отделяет людей от большинства моделей, но генератор тех же задач одновременно создаёт данные для обучения решателя. Поэтому такую защиту нельзя считать устойчивой только из-за текущего разрыва в качестве.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу