Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Снижение разрядности внутреннего состояния может почти заморозить память рекуррентной сети, даже если её веса и вычисления не меняются. В работе Rensselaer Polytechnic Institute, которая не прошла рецензирование и содержит замеры самих авторов, 4-битное хранение увеличило ошибки оценки короткого и длинного времени жизни флуоресценции примерно в 70 и 300 раз. При квантизации GRU и LSTM поэтому нужно выбирать не только формат чисел, но и правило записи состояния между шагами.
Авторы зафиксировали обученную модель и заменяли только обратную запись состояния: значение, которое сеть вычислила на текущем шаге, сохранила и передала на следующий. При обычном округлении небольшое изменение не достигает ближайшего доступного уровня. Если сеть много раз предлагает такие изменения в одном направлении, каждое из них пропадает, а сохранённое состояние почти не движется.
Подавленные изменения удалось переносить между шагами без переобучения. Обратная связь по ошибке сохраняет разницу между вычисленным и записанным значениями, остаточная память накапливает её величину, а память направления считает последовательные попытки сдвига в одну сторону. Эти варианты вернули ошибку к уровню модели с непрерывным состоянием, хотя сама рекуррентная сеть осталась прежней.
Больше разрядов не всегда исправляло уже обученную модель: при замене интерфейса более точное состояние иногда ухудшало результат. Когда сеть обучали сразу с нужным правилом записи, она приспосабливала к нему динамику. Значит, разрядность состояния нельзя оценивать отдельно от обучения и способа, которым оборудование сохраняет память между шагами.
Проверку провели на моделируемом наборе из 1,6 млн шумных сигналов, каждый из которых состоял из 135 временных отсчётов. Основные эксперименты использовали компактную GRU для оценки времени жизни флуоресценции; отдельно обученная LSTM воспроизвела поломку и восстановление. Работа показывает механизм на одной специализированной задаче и двух рекуррентных архитектурах, поэтому перенос на другие последовательности требует отдельной проверки.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
