Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Фильтр кандидатов научили удерживать заданный риск ошибки, пока RL-поиск меняет распределение предлагаемых нейросетевых архитектур. Хотя препринт Vicomtech ещё не рецензировали и все числа в нём получили сами авторы, фильтр отклонил 25–50% кандидатов без измеримого снижения качества найденного решения. Такой подход сокращает число дорогих обучений, не полагаясь на неизменность поискового процесса.
В аппаратно-зависимом поиске архитектур награда учитывает точность модели и ограничения устройства, но становится известна только после обучения кандидата. Дешёвый предсказатель может заранее оценить награду, а конформный фильтр — построить её верхнюю границу и отбросить заведомо слабый вариант. Обычная калибровка предполагает, что будущие кандидаты похожи на примеры, по которым настроили фильтр, однако обучающийся RL-контроллер постоянно нарушает это условие.
Авторы заменили разовую настройку границы обратной связью после каждой оценки. Фильтр проверяет, попала ли фактическая награда под предсказанную верхнюю границу, и сдвигает её так, чтобы покрытие — доля таких попаданий — соответствовало заданному уровню. Отдельный вариант поддерживает нужное покрытие на каждой глубине при послойной сборке сети, где ранние и поздние состояния заметно различаются.
Адаптивная схема удерживала запрошенное покрытие с ошибкой около 10⁻³. Статическая калибровка не реагировала предсказуемо на изменение целевого риска, а граница на основе гауссовского процесса оставалась около покрытия 0,99 независимо от запроса. Поэтому фиксированный запас нельзя считать управляемой гарантией внутри меняющегося поискового цикла.
Проверка охватила LeNet на MNIST, ResNet на CIFAR-10 и MobileNet на CIFAR-100, однократный и последовательный поиск. Награды считали по частичному обучению, а аппаратные затраты — по аналитической модели устройства класса MCU, не откалиброванной на физическом оборудовании. Результат подтверждает работу фильтра в этих CNN-пространствах, но не перенос на трансформеры или реальные замеры задержки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
