Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Yuntian Deng, Pengyu Nie и Stuart Shieber из University of Waterloo и Harvard University представили способ собирать локальные нейросетевые функции из текстовых спецификаций в препринте, который не проходил рецензирование. На выбранных сложных задачах новый метод оказался точнее быстрого компилятора PAW. Работа важна командам, которым нужны частые и узкие текстовые операции без обращения к удалённой LLM при каждом запуске.
Что сделали
Подход называется Compile by Training. Разработчик описывает на естественном языке функцию: например, классификацию писем, извлечение данных или преобразование команды в формальный язык. На этапе сборки модели-учителя создают пары входов и ожидаемых ответов, после чего система проверяет формат примеров и использует их для обучения.
Обучается не отдельная полная модель, а LoRA-адаптер — небольшой набор дополнительных весов для общего замороженного интерпретатора Qwen3-0.6B. Начальные веса адаптера предоставляет быстрый компилятор PAW, затем их уточняют на синтетических примерах под конкретную спецификацию.
Результат упаковывается в файл .paw. В него входят исходная спецификация, адаптер, шаблон исполнения и сведения об интерпретаторе. Такой файл можно хранить, версионировать, кэшировать и подключать к приложению как обычный артефакт сборки.
Разделение между сборкой и исполнением принципиально для архитектуры. Компиляция происходит на стороне сервиса: спецификация передаётся PAW и API моделей-учителей, а обучение требует GPU. После сборки новые входные данные обрабатываются локальным интерпретатором и больше не отправляются учителям.
Что показали
Авторы проверили метод на FuzzyBench-Hard — части FuzzyBench, отобранной по задачам, где быстрый компилятор PAW не получил ни одного точного совпадения с эталоном. Качество измеряли семантической точностью: модель-оценщик получает спецификацию, вход, эталон и предсказание, а затем определяет, соответствует ли ответ требуемому смыслу, даже если его запись отличается.
По замерам авторов, Compile by Training достиг 83,6% семантически правильных ответов против 22,4% у быстрого PAW. Цена такого прироста — более долгая сборка: 50,9 секунды против 3,5 секунды в основном сравнении.
Авторы также встроили скомпилированные функции в помощника для нескольких сайтов, управление браузерным аватаром и двусторонний переводчик между обычным английским и Claudish. Эти примеры показывают, как адаптеры сочетаются с поиском, маршрутизацией, проверкой формального языка и другим детерминированным кодом. Они не заменяют сравнительную оценку качества приложений.
Ограничения
FuzzyBench-Hard — специально выбранное подмножество задач, на котором базовый компилятор не давал точных совпадений. Поэтому результат не показывает среднее качество на произвольных текстовых функциях. В основном описании эксперимента авторы не приводят число спецификаций в этом подмножестве, что мешает оценить масштаб проверки.
Обучающие данные синтезируют модели-учителя, поэтому адаптер может наследовать их ошибки. Семантическую правильность также определяет модель-оценщик, а не исполнение формальной проверки или пользовательская оценка. Для приложений авторы приводят демонстрации композиции и структурированного исполнения, но не систематическое исследование с пользователями.
Сравнение проведено только с быстрым компилятором PAW в той же программной модели. В работе нет сопоставления с прямым вызовом удалённой LLM, ручной разметкой для дообучения, правилами или отдельной компактной моделью. В представленных результатах также нет расчёта денежной стоимости сборки, размера артефактов и задержки локального исполнения.
Что это значит
Работа даёт основание добавить компиляцию нейросетевых функций в архитектурный план, но не заменять ею все обращения к LLM. Подход соответствует задачам со стабильной спецификацией, большим числом повторных вызовов и размытыми правилами: классификации, нормализации, извлечению полей и преобразованию текста в ограниченный формат. Дополнительное время сборки в таком случае переносит вычисления из каждого рабочего запроса в отдельный этап подготовки версии.
Для внедрения потребуется собственный контур артефактов: набор приёмочных примеров, версия спецификации, версия адаптера и возможность отката. Там, где ошибка влияет на деньги, права доступа или необратимые действия, выход нейросетевой функции следует проверять обычным кодом либо направлять в резервный сценарий. Именно такое разделение авторы демонстрируют в приложениях: модель принимает нечёткое решение, а точные операции остаются детерминированными.
Планы не меняются для редких запросов, часто меняющихся задач и случаев, где уже достаточно правил. Не устраняется и внешняя зависимость на этапе сборки: сервису всё ещё нужны учителя и GPU. Главное архитектурное изменение состоит в другом — удалённая LLM может стать инструментом создания версионируемой функции, а не обязательной частью каждого рабочего вызова.
Источники
Иллюстрация: рисунок из статьи «Compile by Training: Turning Natural-Language Specifications into Local Neural Functions», Yuntian Deng, Pengyu Nie, Stuart Shieber, CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
