Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Физически информированные нейросети (PINN) научились точнее решать уравнения, меняя порядок обучения слоёв, но не итоговую модель. В нерецензированном препринте Kejia Zhang, Youran Sun и Haizhao Yang, где все числа получены самими авторами, новый режим снизил ошибку минимум на 5% в 40 из 59 сравнений при одинаковом числе шагов. Для продукта это даёт шанс улучшить решатель без роста модели и затрат при её использовании.
Метод Staged Depth Training сначала обучает неглубокую начальную часть сети с временным выходным слоем. Функция потерь проверяет, насколько решение соблюдает исходное уравнение, поэтому промежуточное представление учится на той же физической задаче. Затем временный слой удаляют, обученную часть фиксируют, добавляют следующие слои и повторяют процесс; в конце всю сеть размораживают и дообучают совместно.
После обучения временные слои исчезают: число параметров, схема вычислений и стоимость применения совпадают с обычной сквозной тренировкой. На архитектуре PirateNet-style средняя относительная ошибка L2, то есть нормированное отклонение от эталонного решения, уменьшилась на 32,8%. Расчётный объём операций в плотных слоях во время обучения сократился в среднем на 27,8%, но эта оценка не учитывает автоматическое вычисление производных и потому не предсказывает время обучения напрямую.
Метод проверили на 20 стандартных задачах PINNacle с архитектурами MLP, ResNet и PirateNet-style. Для каждого сочетания сравнивали одинаковый бюджет шагов, перебирали настройки и брали лучший итог при одном начальном состоянии генератора. Поэтому результаты характеризуют лучшие найденные конфигурации, а не среднее качество повторных запусков. Режим также требует архитектуры, у которой можно точно выделить, перенести и временно зафиксировать начальные слои.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
