Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Градиенты при обучении моделей с численным решателем ODE научились проверять и при необходимости пересчитывать до того, как оптимизатор изменит параметры. Хотя препринт Ziqian Bi и Xin Liang Chia не прошёл рецензирование и числа получили сами авторы, в экспериментах число принятых небезопасных шагов снизилось с 37 до 0. Для обучения моделей с непрерывной динамикой это меняет контракт с решателем: конечного тензора правильной формы недостаточно, нужны свидетельства, что он указывает в сторону снижения функции потерь.
GradRepair-ODE вычисляет несколько вариантов градиента: обычный, уточнённый меньшими шагами решателя, пересчитанный с контрольными точками и строгий. Затем система сравнивает их направления и нормы, проверяет изменение функции потерь небольшими возмущениями параметров и учитывает признаки численного стресса — например, слишком частые вычисления или сбои шага решателя.
Если проверки согласуются, оптимизатор получает исходный градиент без дополнительного пересчёта. При расхождении GradRepair-ODE выбирает более надёжный способ вычисления, а если ни один вариант не подтверждает снижение функции потерь, отменяет обновление. В отличие от ограничения нормы градиента, такой подход проверяет направление; в отличие от поиска подходящего размера шага, он пытается найти источник численной ошибки до обновления параметров.
На жёсткой системе Robertson и хаотической системе Lorenz пересчёт довёл косинусное сходство со строгим эталоном до 1,000 — направления совпали. Цена зависит от задачи: для Robertson строгая проверка потребовала в 301 раз больше вычислений правой части уравнения, тогда как простые системы прошли без дополнительных затрат. Модель с разрывом при отскоке мяча система не стала «чинить»: обычный гладкий градиент там не описывал событие достаточно надёжно, поэтому шаг отклонили.
Проверку провели на 6 синтетических системах: гладких, жёстких, хаотических, событийных и с нейронным векторным полем. Это исследование численных механизмов, а не подтверждение выигрыша на прикладном обучении; сертификат оценивает надёжность одного шага и остаётся эмпирическим показателем, а не строгой гарантией правильности решателя.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
