Журнал · Rit.work

GLiDE переносит рассуждение в один проход модели

GLiDE учится у рассуждающих моделей, но при работе сразу оценивает готовые варианты ответа — с предсказуемой уверенностью и задержкой до сотен миллисекунд.

Rit.work
Студия разработки
20 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Модель научили выбирать из готовых вариантов без генерации ответа и промежуточных рассуждений. В препринте Fastino Labs, который не прошёл рецензирование, а числа получили сами авторы, вся линейка GLiDE обошла проверенные альтернативы того же или меньшего размера. Для маршрутизации запросов, выбора инструментов и классификации это предлагает отдельный быстрый слой вместо генеративной LLM.

Как рассуждение превращают в оценку вариантов

Модель принятия решений получает контекст, вопрос и конечный набор ответов. Она не продолжает текст, а за один проход присваивает каждому варианту вероятность, после чего выбирает самый вероятный. Эта же вероятность показывает уверенность модели и позволяет передать сомнительный случай человеку или другой системе.

GLiDE построена на гибридных моделях Qwen. В обычной генеративной LLM каждый токен видит только предыдущие, иначе модель не смогла бы последовательно дописывать текст. GLiDE снимает это ограничение со слоёв полного внимания: контекст, вопрос и варианты могут учитывать друг друга в обоих направлениях.

В конце сети стоит отдельный выходной слой для вариантов ответа. Он берёт итоговое внутреннее представление запроса и сразу выдаёт распределение вероятностей. Поэтому задержка не зависит от длины цепочки рассуждений или сгенерированного ответа: модель ничего не пишет токен за токеном.

Способность рассуждать передают во время обучения. Сначала модель-учитель решает задачи с промежуточными шагами, а затем сохраняет не текст рассуждения, а итоговые вероятности вариантов. Если прямой ответ учителя уверен хотя бы на 80%, для обучения берут его; иначе смешивают распределения до и после рассуждения.

Такой мягкий целевой ответ сообщает ученику больше, чем правильная метка. Например, он показывает, что один вариант почти верен, а остальные явно хуже. На поздних этапах GLiDE учится сразу у нескольких моделей, причём их вес меняется для разных семейств задач.

Линейка охватывает модели от 0,4 до 27 миллиардов параметров. В обучение вошло более 1,6 миллиона вопросов из более чем 500 семейств задач: классификация, извлечение данных, знания, рассуждение, выбор инструментов и безопасность.

Скрытые тесты проверили точность, задержку и уверенность

Основная проверка прошла на Hugging Face Decision Index. Его организаторы сами запускают модели на скрытых вопросах: одна часть проверяет знакомые навыки на новых примерах, другая — перенос в новые предметные области. Модель должна отвечать без промежуточного рассуждения и укладываться в лимит времени на одной GPU.

GLiDE V1.2 получила 71,52 балла и заняла первое место в использованной редакции рейтинга. Ожидаемая ошибка калибровки составила 2,0%: настолько в среднем расходятся заявленная уверенность и фактическая доля правильных ответов. Медианная задержка достигла 92,9 мс.

Затем разработчики усреднили несколько близких контрольных точек и повторно применили выбранные средние слои сети при выводе. Такой рекуррентный проход добавляет вычисления, но не добавляет параметров и по-прежнему не генерирует текст. Итоговая GLiDE 27B набрала 73,37 балла, а задержка выросла до 122 мс.

Дополнительную проверку провёл Artificial Analysis на задачах по знаниям, рассуждению, инструментам и безопасности. GLiDE оставалась среди лидеров после нескольких изменений состава теста. Границы результата при этом заданы самим форматом работы: проверяли выбор из конечного набора кандидатов, а не открытое создание текста или выполнение длинного плана.

Когда GLiDE меняет архитектуру продукта

Работа меняет планы команд, которые используют генеративную LLM там, где система на самом деле выбирает одно действие из списка. К таким узлам относятся маршрутизация обращения, выбор API, определение категории документа, разрешение операции и решение, нужно ли отказаться от ответа.

Для них имеет смысл отделить принятие решения от генерации. GLiDE возвращает нормализованные вероятности, поэтому продукт может задать порог уверенности: принять решение автоматически, запросить дополнительный сигнал или передать случай более дорогой модели. Это проще контролировать, чем разбирать свободный текст и пытаться восстановить из него уверенность.

Архитектура также показывает практичный способ дистилляции: рассуждающая модель нужна при подготовке данных, но не обязательно в рабочем контуре. Команда платит за длинные цепочки на этапе обучения, а при эксплуатации получает один проход сети. Повторное применение слоёв позволяет обменять часть задержки на качество без отдельной модели и новых весов.

Для открытых задач вывод другой. Если системе нужно сформулировать новый ответ, написать код или построить многошаговый план с неизвестными заранее действиями, модель выбора не заменит генеративную. GLiDE полезна как узкий слой принятия решений внутри такого контура, а не как универсальная замена LLM.

Источники

Иллюстрация: рисунок из статьи «GLiDE: A Fast, Calibrated Decision Model Distilled from Reasoning Teachers», Sahibzada Allahyar, Julia White, Dhruv Atreja и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу