Гиперболическая геометрия сократила глубину агента в лабиринте

Агент с заданной целью научился лучше находить путь в сложных лабиринтах без сверхглубокой нейросети. Хотя работа University of Vienna не прошла рецензирование и числа получили сами авторы, гиперболический агент с 64 слоями обошёл евклидову сеть с 1024 слоями, обучаясь более чем в 12 раз быстрее. Для систем навигации это переносит часть задачи с наращивания сети на выбор геометрии представлений.

В контрастивном обучении с подкреплением модель-критик оценивает, достижима ли цель из текущего состояния после выбранного действия. Обычный вариант кодирует состояния и цели в евклидовом пространстве, где близость соответствует прямой линии. Авторы заменили её геодезическим расстоянием — кратчайшим расстоянием внутри искривлённого гиперболического пространства, которое лучше передаёт разветвлённые маршруты.

Разница проявилась там, где стены отделяют близкую на плане цель от длинного реального пути. Гиперболический агент двигался по коридорам, а евклидов агент чаще пытался пройти к цели напрямую через стену. При этом первая модель использовала примерно в 13 раз меньше параметров, чем самая глубокая сеть в сравнении.

Метод проверяли в симуляторах передвижения и манипуляции, в онлайн-обучении и на офлайн-задачах OGBench; отдельные запуски продолжались до 400 млн шагов. Сравнивали гиперболические и евклидовы модели одинаковой глубины, а ключевое сопоставление с самой глубокой сетью опирается на результат Wang et al. при том же бюджете шагов; для Humanoid новая работа использует другую частоту физической симуляции. Преимущество сокращалось в задачах, где реальный маршрут почти совпадал с прямой линией, а симметричное расстояние не позволяет методу представлять односторонние переходы.

Источники

• Outperforming 1000 Euclidean Layers With Hyperbolic Goal-Conditioned RL

Иллюстрация: рисунок из статьи «Outperforming 1000 Euclidean Layers With Hyperbolic Goal-Conditioned RL», Timo Klein, Thomas Lang, Andrii Shkabrii и др., CC BY 4.0