Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Проверка AeroIntent показала: модель могла распознавать намерения дрона по статичным деталям и запоминанию сценариев, а не по радиальной скорости, ради которой создали тест. В работе Zhirong Su и Tian Zhang модель по внешнему виду дала 65,5% точности против 40,8% у модели на траекториях, хотя препринт не рецензирован и все числа рассчитали сами авторы. Одной итоговой оценки поэтому недостаточно, чтобы приписать модели нужную способность.
Аудит делит путь к ответу на пять уровней. Сначала он проверяет, надёжно ли тест измеряет нужный признак, затем — содержит ли его представление модели, может ли выбранный способ извлечь сигнал, использует ли его классификатор и соответствует ли итоговое поведение замыслу теста. Такое разделение не позволяет принять доступный модели сигнал за сигнал, который определяет ответ.
У AeroIntent исходное измерение расходилось с независимым расчётом на 7 из 20 сценариев полёта, а прямое визуальное проявление радиальной скорости оказалось ниже уровня шума. Лучшее многопризнаковое считывание вне обучающей выборки дало корреляцию 0,080. При этом эксперимент мог надёжно обнаружить только корреляцию от 0,599, поэтому слабый результат не доказывает, что представление совсем не содержит нужного сигнала.
Проверки использования указали на запоминание сценариев и статичные области изображения. Перестановка 16 кадров не изменила ни одного предсказания модели по внешнему виду: порядок кадров ей не требовался. Это согласуется с тем, что классификатор опирался не на движение, однако причинную зависимость такой опыт не устанавливает.
Работу провели на одном тесте из 176 последовательностей, с пятью представлениями RGB, траекторными моделями и преимущественно линейными способами извлечения сигнала. Управляемо изменить радиальную скорость при неизменных сцене, аппарате и траектории на выпущенных данных нельзя, поэтому вывод об использовании статичных подсказок остаётся связью, а не доказанным механизмом. Для аудита собственного теста полезен сам порядок проверок: измерение, наличие сигнала, возможность его извлечь, фактическое использование и поведение.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



