Журнал · Rit.work

Аудит AeroIntent отделил распознавание сигнала от высокой точности

Пятиуровневый аудит показал, что результат AeroIntent согласуется с использованием статичных подсказок и запоминанием сценариев, а не радиальной скорости.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Проверка AeroIntent показала: модель могла распознавать намерения дрона по статичным деталям и запоминанию сценариев, а не по радиальной скорости, ради которой создали тест. В работе Zhirong Su и Tian Zhang модель по внешнему виду дала 65,5% точности против 40,8% у модели на траекториях, хотя препринт не рецензирован и все числа рассчитали сами авторы. Одной итоговой оценки поэтому недостаточно, чтобы приписать модели нужную способность.

Аудит делит путь к ответу на пять уровней. Сначала он проверяет, надёжно ли тест измеряет нужный признак, затем — содержит ли его представление модели, может ли выбранный способ извлечь сигнал, использует ли его классификатор и соответствует ли итоговое поведение замыслу теста. Такое разделение не позволяет принять доступный модели сигнал за сигнал, который определяет ответ.

У AeroIntent исходное измерение расходилось с независимым расчётом на 7 из 20 сценариев полёта, а прямое визуальное проявление радиальной скорости оказалось ниже уровня шума. Лучшее многопризнаковое считывание вне обучающей выборки дало корреляцию 0,080. При этом эксперимент мог надёжно обнаружить только корреляцию от 0,599, поэтому слабый результат не доказывает, что представление совсем не содержит нужного сигнала.

Проверки использования указали на запоминание сценариев и статичные области изображения. Перестановка 16 кадров не изменила ни одного предсказания модели по внешнему виду: порядок кадров ей не требовался. Это согласуется с тем, что классификатор опирался не на движение, однако причинную зависимость такой опыт не устанавливает.

Работу провели на одном тесте из 176 последовательностей, с пятью представлениями RGB, траекторными моделями и преимущественно линейными способами извлечения сигнала. Управляемо изменить радиальную скорость при неизменных сцене, аппарате и траектории на выпущенных данных нельзя, поэтому вывод об использовании статичных подсказок остаётся связью, а не доказанным механизмом. Для аудита собственного теста полезен сам порядок проверок: измерение, наличие сигнала, возможность его извлечь, фактическое использование и поведение.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу