Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Один и тот же запуск модели удалось воспроизвести побитово на разных процессорах и при разделении вычислений между машинами. В препринте Pelloran Inc., который не проходил рецензирование и содержит замеры самих авторов, GLM-4.5-Air со 106 млрд параметров запустили на трёх узлах, причём ни один из них не вмещал модель целиком. Результат совпал с односерверным эталоном по контрольной сумме SHA-256, поэтому вычисления можно переносить между узлами и затем проверять.
Среда выполнения tritify заранее переводит веса в целочисленные коды, а активации квантует во время запуска без калибровочного набора. Матричные операции, нормализация, внимание и нелинейные функции выполняются в целых числах; порядок вычислений, разрядность и округление заданы явно. Плавающая точка остаётся только при подготовке весов и в эталонном пути для сравнения.
На Qwen2.5-0.5B результаты совпали между ARM и x86-64. Выбранный моделью токен совпал с эталоном в 509 из 512 позиций, а три расхождения пришлись на почти равные варианты. У Segment Anything 2.1 выбранная маска совпала попиксельно; равенство CPU и GPU показали только на отдельной операции умножения матриц, а не на полной модели.
Проверки охватили плотные языковые модели размером от 0,5 до 1,5 млрд параметров, OLMoE-1B-7B, Segment Anything 2.1 и GLM-4.5-Air. Для последней сходство с вычислением с плавающей точкой измеряли на первых 16 слоях, тогда как побитовое совпадение распределённого запуска проверили на всех 46. Воспроизводимость действует при неизменных входе и расписании: другой состав пакета или переход между предварительным заполнением и пошаговой генерацией может изменить результат квантизации.
tritify решает задачу вместимости и аудита, но не обещает ускорения: сеть добавляет задержку, а полная проверка требует повторить вычисления. Побитовое равенство также не скрывает активации от удалённого узла и само по себе не защищает от нечестного сервера. Для продукта это основа проверяемого распределённого вывода, а не готовый протокол безопасности.
Источники
Иллюстрация: рисунок из статьи «Deterministic, Reproducible Inference in Exact Integer Arithmetic, and Verifiable Distributed Inference as Its Consequence», Sayed Amir Karim (Pelloran Inc.), CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
