Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Настройку мультимодальной модели для переноса из симуляции на реальную беспроводную площадку удалось свести к текстовому описанию задачи и условий. В работе Yijie Bian и соавторов, которая не прошла рецензирование и где числа получили сами авторы, AIMS составила корректный итоговый план для 88,6% сложных запросов против 48,6% у прямого обращения к LLM. Такой подход позволяет вынести связи между симуляцией, датчиками и обучением в отдельный управляющий слой, а не поддерживать их вручную в каждом конвейере.
Запрос превращается в состояние эксперимента, а не сразу в план
AIMS предназначена для систем совместного зондирования и связи (ISAC), где модель одновременно использует сведения о физической среде, показания датчиков и параметры радиоканала. На вход поступает обычный текст: какую задачу нужно решить, в каких условиях будет работать система и сколько размеченных реальных данных доступно.
Система сначала переводит запрос в структурированное состояние эксперимента. Оно хранит профиль площадки, выбранную задачу, доступные модальности, бюджет реальных данных и уже созданные промежуточные материалы. Благодаря этому агент рассуждает не только о желаемом результате, но и о том, что можно повторно использовать.
Дальше работают два агента. Агент построения сцены создаёт географически привязанную среду и согласованные записи датчиков и радиоканала. Все наблюдения относятся к одному физическому состоянию: положение автомобиля влияет и на изображение, и на GPS, и на распространение радиосигнала.
Агент понимания сцены выбирает нужные модальности, настраивает модель со смесью экспертов и определяет режим переноса. Если реальных примеров нет, модель применяют сразу после обучения на синтетике. Если примеры есть, агент выбирает части модели, которые разрешено дообучить.
Ключевую роль играет не сама LLM, а формализованное знание о предметной области. Каждая возможность системы описывает обязательные входы, результаты и условия проверки. Граф зависимостей показывает, какие материалы нужно пересчитать после изменения сцены, датчика или кодовой книги лучей, а какие можно сохранить.
Общее физическое состояние улучшило перенос на две задачи
Работу проверяли на DeepSense 6G в придорожной среде. Для обнаружения автомобиля модель связывала RGB-изображение с координатами GPS. Для выбора радиолуча она предсказывала индекс лучшего варианта по наблюдаемой сцене. Сравнение включало симуляции без привязки к целевой площадке или кодовой книге, реконструкцию по карте и два способа объединить модальности.
При выборе радиолуча AIMS без реальных примеров опередила более сильный метод объединения данных на 7–16 процентных пунктов по точности среди трёх первых вариантов. При обнаружении автомобиля преимущество по средней точности AP составило 6–13 процентных пунктов. AP учитывает не только факт обнаружения, но и точность положения рамки вокруг объекта.
Дообучение на 20 реальных примерах улучшило все показанные результаты, однако модель, обученная на полном наборе реальных данных, осталась впереди. Значит, согласованная симуляция сокращает разрыв между синтетикой и площадкой, но не устраняет его.
Отдельный тест на 140 обычных и сложных текстовых запросах проверял не качество распознавания, а оркестрацию: верно ли система поняла задачу, выбрала возможности, учла зависимости и пересобрала только затронутые материалы. Контрольный вариант использовал ту же модель, интерфейсы инструментов, состояние и проверку, но не имел структурированных знаний. Он чаще ошибался при выборе возможностей и обработке зависимостей, поэтому улучшение нельзя свести только к повторным попыткам LLM.
Командам нужен управляющий слой над симуляторами
AIMS не заменяет физические симуляторы, генераторы данных и обучающий код. Она связывает заранее определённые возможности, следит за их входами и результатами и пересматривает план после проверки. Поэтому работу стоит читать как архитектуру управляющего слоя, а не как универсального агента, который самостоятельно пишет весь конвейер.
Для похожего продукта планы следует начинать не с длинного системного запроса к LLM, а со схемы состояния эксперимента. В ней нужно явно хранить условия площадки, происхождение материалов, версии настроек и доступный бюджет реальных данных. Следующий обязательный элемент — контракты инструментов и граф, по которому изменение исходных условий делает зависимые результаты недействительными.
Проверяющий компонент должен возвращать структурированную причину ошибки. Тогда агент сможет перестроить только затронутую часть плана: например, заново рассчитать радиоканал после смены кодовой книги, не создавая повторно изображения неизменившейся сцены. Свободный текст от проверяющего усложнит такое выборочное восстановление.
Подход особенно применим там, где один физический объект порождает несколько связанных наборов данных, а конфигурации площадок регулярно меняются. Для фиксированного конвейера с одной задачей дополнительный агентный слой даст меньше пользы. Работа показывает эффект на придорожной беспроводной системе, обнаружении автомобиля и выборе луча; перенос этой архитектуры в другие физические отрасли потребует собственных контрактов, зависимостей и проверок.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
