Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Компактные языковые модели научили точнее решать математические задачи с проверяемыми промежуточными вычислениями. В работе команды Stevens Institute of Technology средняя точность выросла на 5,51 процентного пункта относительно лучшего варианта с доступом к инструментам, хотя препринт не прошёл рецензирование, а числа получили сами авторы. Подход позволяет заменить свободный текст управляемой последовательностью действий, которую можно выполнить и проверить.
Текстовое решение превращают в исполняемую трассу
Обычное обучение на пошаговых объяснениях заставляет компактную модель воспроизводить форму решения. Она может написать правдоподобное рассуждение, но пропустить вычисление, ошибиться в арифметике или не связать результат калькулятора со следующим шагом.
ARCHER меняет сам объект обучения. Сначала компилятор разбирает готовое текстовое решение и превращает его в типизированную трассу: прочитать условие, составить план, вызвать калькулятор, получить наблюдение, проверить результат и дать ответ. Трасса здесь означает последовательность действий модели и ответов внешнего инструмента, а не скрытый внутренний ход мысли.
Вычисления выполняет детерминированная среда исполнения. Модель формирует выражение для калькулятора, но не придумывает его результат: среда вычисляет значение и возвращает его в контекст. Поэтому следующий шаг опирается на фактический ответ инструмента.
После обучения на таких трассах модель дополнительно обучают с подкреплением. Итоговый ответ получает главный вес, затем учитываются корректное использование калькулятора, соблюдение структуры решения и сходство с эталонной трассой. Последний сигнал включается только тогда, когда решение уже достаточно правильное: иначе модель могла бы получать награду за красивую структуру с неверными вычислениями.
Для каждого условия система создаёт группу полных решений, исполняет вызовы калькулятора и сравнивает награды внутри группы. Это позволяет оценивать свойства всей трассы — наличие ответа, корректность вызовов и использование наблюдений — без отдельной модели, которая предсказывает ценность каждого шага.
Схему проверяли на семи моделях размером менее 10 млрд параметров и восьми математических тестах. Обучающие трассы строили из GSM-8K; остальные наборы проверяли перенос на другие типы задач, включая MATH, AIME и PolyMATH.
Исполнение вычислений улучшило и ответы, и структуру решений
В основной группе ARCHER показал лучший результат или разделил первое место во всех 40 сочетаниях модели и теста. Эффект сохранился и на моделях, которые уже обучали рассуждать с подкреплением или через перенос знаний от более крупной модели.
Разбор по этапам на Falcon-H1R-7B показывает, откуда берётся выигрыш. Полная схема подняла точность на GSM-8K с 77,40% до 85,96%, а долю структурно корректных трасс — с 41,2% до 82,4%. Значит, модель не только чаще получает правильный ответ, но и реже ломает протокол взаимодействия с калькулятором.
Обучение только на скомпилированных трассах прежде всего научило модель пользоваться интерфейсом: формировать вызовы, принимать наблюдения и завершать решение. Обучение с подкреплением дало основной прирост точности. Самой важной частью награды оказалась проверка работы с инструментом; простая награда только за финальный ответ и плоская сумма частных оценок работали хуже.
Когда ARCHER стоит закладывать в архитектуру продукта
Работа меняет планы команд, которым нужна компактная локальная модель для задач с точными и проверяемыми операциями. Вместо попытки поместить арифметику внутрь весов модели можно обучить её управлять внешним исполнителем и оставить вычисления детерминированному коду.
Это не подключаемый калькулятор поверх готовой модели. Для повторения схемы понадобится подготовить обучающие решения, преобразовать их в единый язык действий и запускать модель в цикле, где среда перехватывает вызов инструмента и возвращает наблюдение. Тот же протокол должен работать при обучении и в продукте, иначе модель увидит другой формат взаимодействия.
Практический принцип переносится шире калькулятора: модель должна выбирать действие, внешний компонент — исполнять его, а система наград — отдельно проверять результат, корректность вызова и дисциплину процесса. В самой работе этот перенос только намечен; эксперименты охватывают математические задачи, где операции и финальный ответ можно проверить автоматически.
ARCHER также не превращает трассу в доказательство правильности. Модель способна выбрать неверное выражение, неправильно разложить задачу или использовать корректное наблюдение не к месту. Зато такие ошибки остаются в явной последовательности действий, поэтому их проще обнаружить правилами, журналированием или повторным вычислением, чем ошибку внутри свободного объяснения.
Для числовых и символических процессов вывод достаточно прикладной: при выборе между более крупной моделью и компактной моделью с инструментами стоит оценивать не только доступ к API, но и способ обучения самому протоколу действий. ARCHER показывает, что структурированная трасса и проверяемые награды могут дать больше, чем один лишь вызов калькулятора во время ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



