Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ошибку классификационной нейросети научились формально ограничивать без анализа сложности её весов. Команда University of Oxford получила разрыв до 8,0 процентного пункта между гарантированной верхней границей и тестовой ошибкой, хотя препринт не рецензирован и все числа в нём получили сами авторы. Такой сертификат можно использовать не только как гарантию, но и как диагностику того, почему модель обобщает данные.
Метод берёт векторы из последнего скрытого слоя и проверяет, можно ли определить класс объекта по его ближайшим соседям. Итоговая граница складывается из трёх измеряемых частей: ошибки классификатора ближайших соседей, его расхождения с самой сетью и устойчивости обучения при исключении части выборки. Нормы весов, сжатие модели и оценка числа параметров в расчёт не входят.
Для ResNet-50, обученной с нуля на CIFAR-10, метод ограничил ошибку сверху на уровне 12,4%. На CIFAR-100 граница также осталась содержательной, то есть была ниже ошибки случайного угадывания. С замороженными представлениями DINOv2 сертификат составил 1,4% на CIFAR-10 и 23,1% на ImageNet.
Проверки охватили MNIST, CIFAR-10, CIFAR-100, ImageNet и ImageNet-V2, а также ResNet, ViT, полносвязные сети и несколько предобученных моделей. Метод относится только к ошибке классификации и использует евклидово расстояние в последнем скрытом слое. Для сети, обученной на целевой задаче, приходится повторно обучать модели без отдельных частей выборки, поэтому сертификат требует заметно больше вычислений, чем обычная оценка на тестовом наборе.
Практическая ценность разложения — в локализации проблемы. Оно показывает, плохо ли представления разделяют классы, расходится ли с ними выходной слой или обучение слишком чувствительно к составу данных. Число параметров само по себе такого ответа не даёт: модели разного размера могут получить близкие границы, если создают сходную геометрию представлений.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
