Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Open-1B позволяет повторить любой шаг распределённого обучения на другом оборудовании и получить тот же результат до последнего бита. В препринте Gensyn, который не проходил рецензирование и содержит замеры самих авторов, такая проверяемость замедлила обучение в 6,8 раза на одном узле и в 5,2 раза на шести. Команда может проверить происхождение весов, а не полагаться только на опубликованный рецепт.
Обычный детерминированный режим даёт одинаковый результат на одной машине, но другой GPU или процессор меняет порядок вычислений и округление. Gensyn зафиксировала порядок суммирования промежуточных значений, одинаково обрабатывает очень малые числа и привязала случайные значения к их логической позиции, а не к конкретному устройству.
Этого недостаточно для распределённого обучения: конфигурация кластера также влияет на порядок пакетов и обмен данными между узлами. Open-1B читает обучающие примеры как единую последовательность, которая не зависит от числа устройств, и выполняет обмен результатами в заранее заданном порядке. Поэтому один компьютер может последовательно воспроизвести работу всего кластера за выбранный шаг.
Вместе с моделью опубликованы полный набор предобучения, код, промежуточные состояния и инструмент аудита. После каждого шага сохраняется хеш состояния: повторный расчёт должен дать тот же хеш. Полный прогон слишком дорог для одного проверяющего, поэтому отдельные аудиторы могут распределить шаги между собой и совместно покрыть всю цепочку.
Подход проверили на Open-1B с 1,61 млрд параметров. Повторный запуск поддерживает процессоры x86 и ARM, NVIDIA GPU и Apple Silicon; скорость сравнивали с оптимизированным обучением в PyTorch. Такая проверка подтверждает, какие данные и операции привели к опубликованным весам, но сама по себе не доказывает качество модели и не устраняет смещения в данных.
Источники
Иллюстрация: рисунок из статьи «OPEN-1B: A Fully Auditable Training Run», John Donaghy, Brian Wilcox, O\u{g}uzhan Ersoy и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
