Ранний выход модели можно калибровать один раз на всю глубину

Адаптивный ранний выход нейросети можно настроить так, чтобы выбор глубины не снижал вероятность включить правильный класс в итоговый набор. Хотя препринт Adria Binte Habib и Ibne Farabi Shihab не рецензирован и числа получили сами авторы, в опытах доля таких случаев составила 90,1% против 81,4% у отдельной калибровки каждого слоя. После общей калибровки система может менять правило остановки под доступные ресурсы.

Ранний выход позволяет не проводить простой пример через все слои модели. На каждом промежуточном выходе модель возвращает набор возможных классов, а конформная калибровка задаёт порог, который должен удерживать правильный класс с выбранной вероятностью. Если калибровать слои независимо, а затем выбирать первый достаточно маленький набор, сам выбор слоя нарушает эту гарантию.

Новый метод рассматривает весь путь через модель как один объект. Для каждого класса он запоминает наибольшую ошибку среди уже пройденных выходов, а порог вычисляет один раз по итоговому значению. Полученные наборы сужаются с глубиной, но каждый из них содержит откалиброванный набор последнего выхода. Поэтому правило может остановиться раньше, не ухудшая покрытие — долю примеров, где правильный класс остался в наборе.

Метод проверяли на текстовой классификации с BERT-base и DistilBERT, а также на CIFAR-100 с ViT-L/16 и 24 выходами. На CIFAR-100 модель тратила 57% полной задержки. Сравнение включало независимую калибровку слоёв, поправку Bonferroni, EENN-AVCS, MinSE и Fast-yet-Safe.

Гарантия действует, пока зафиксированы модель, оценки классов и расположение выходов, а выбранный набор содержит итоговый откалиброванный набор. Слабые промежуточные головы могут сделать наборы слишком широкими и убрать выигрыш по времени. На генерации по полному словарю средний набор достигал 7 162–9 620 токенов, поэтому почти все примеры доходили до последнего слоя.

Источники

• Selection-Safe Conformal Early Exit: Distribution-Free Coverage under Adaptive Depth