Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Трансформер, который многократно применяет один блок, может правильно вычислить ответ, затем потерять его и не суметь продолжить вычисление из состояния, где ответ уже читается. В препринте команд Chinese Academy of Sciences и HKUST, который не прошёл рецензирование и содержит замеры самих авторов, модели после обучения на 32 повторах сохраняли верный ответ на 64-м повторе лишь в 22,3% случаев. Поэтому запас вычислительных шагов и раннюю остановку нельзя проектировать только по точности конечного ответа.
Эксперимент разделяет три свойства: вычислить ответ, удержать его в следующих повторах и использовать внутреннее состояние для продолжения работы. Модели выполняли заданные в контексте автоматы Мили: получали таблицу переходов и последовательность входных символов, а симулятор давал точный результат для каждого промежуточного шага. Скрытые состояния подменяли и замораживали, чтобы проверить не только читаемый ответ, но и дальнейшее вычисление.
Удержание зависело от задачи обучения. Если функция потерь учитывала последнюю позицию, точность быстро падала после обученной глубины. Если на каждом примере для обучения случайно выбирали одну позицию, модель сохраняла ответ на 64-м повторе в 99,8% случаев — без проверки всех позиций каждого примера. Случайный выбор момента проверки также поднял точность с 30,0% до 85,6% при одинаковом среднем числе повторов.
Само вычисление при этом было точным. Подмена одного состояния состоянием от другого входа направила всё последующее вычисление по ожидаемой альтернативной траектории во всех 237 подходящих парах у каждой из десяти моделей. Но читаемость ещё не означала пригодность состояния: замораживание позиции сразу после появления ответа снижало итоговую точность до 4,1–6,3%. Если дать состоянию ещё четыре повтора, эффект исчезал.
Основные опыты охватывают одну синтетическую задачу и одну архитектуру. Дополнительная проверка на опубликованной рекуррентной сети для лабиринтов дала ту же картину: немедленное замораживание не сохранило ни одного из 32 решений, а задержка на четыре шага сохранила все. Для практической системы это разделяет три проверки: когда ответ появляется, сколько он живёт и с какого момента из соответствующего состояния можно безопасно продолжать вычисление.
Источники
Иллюстрация: рисунок из статьи «Learning to Compute Is Not Learning to Retain or Reuse in Looped Transformers», Peilong Zhou, Hongtao Zhang, Yulong Huang и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
