Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Замороженную LLM научили искать дискретные решения по внешней оценке, не перебирая подсказки и не обновляя модель для каждой задачи. BOReFT нашёл в Semantle больше скрытых слов, чем сравниваемые методы, и лучше оптимизировал большинство молекулярных целей. Поскольку препринт не рецензирован, а числа в нём получили сами авторы, результат пока годится как архитектурный ориентир, а не как основание сразу менять рабочую систему.
Как из скрытого состояния получили непрерывную область
Обычная LLM выдаёт последовательность токенов, тогда как байесовская оптимизация работает с непрерывными координатами. BOReFT соединяет эти режимы через небольшое вмешательство в скрытое состояние замороженной модели: координаты задают сдвиг внутреннего представления, после чего модель декодирует его в слово, строку SMILES или другой дискретный объект.
Пространство для таких сдвигов сначала обучают на парах «целевой объект — его описание». Для Semantle это слово и словарное определение, для молекул — строка SMILES и текстовое описание из ChEBI-20. Отдельный замороженный кодировщик превращает пару в семантический вектор, а обучаемая проекция выдаёт распределение возможных кодов вмешательства.
Сама LLM остаётся замороженной. Обновляются только низкоранговое преобразование скрытого состояния и проекция, которая строит коды. Вмешательство применяют один раз в выбранном слое и позиции подсказки, поэтому BOReFT не меняет все веса модели и не обучает отдельный генератор.
Функция потерь решает три разные задачи. Восстановление учит модель возвращать известный целевой объект из его кода. Общий вероятностный приоритет удерживает коды рядом и не даёт области поиска бесконтрольно расширяться. Самодистилляция переносит поведение учителя, который видит описание объекта, и не позволяет каждому коду превратиться в жёсткую ссылку на одну строку.
После обучения BOReFT берёт минимальные и максимальные координаты кодов и строит ограниченную многомерную область. Байесовская оптимизация выбирает внутри неё точку, LLM декодирует объект, внешняя функция возвращает одно число, а вспомогательная модель оценки решает, какую точку проверить следующей. Так поиск использует историю результатов, но не требует градиента от целевой функции.
Почему непрерывность ещё не гарантирует хороший результат
Работа разделяет две причины неудачи. Первая связана с представлением: в выученной области может не оказаться кода, который порождает хороший объект. Вторая связана с поиском: подходящий код существует, но алгоритм не успел его найти. Дополнительные запросы сокращают только второй разрыв.
Ключевое условие BOReFT — осмысленная интерполяция. Если двигаться между кодами известных объектов, декодированные результаты должны постепенно менять смысл, а не перескакивать между несвязанными вариантами. Тогда промежуточная точка способна породить объект, которого не было в обучающем наборе.
Теоретическая граница качества требует, чтобы близкие семантические векторы получали близкие оценки задачи. Для Semantle это условие соответствует самой метрике: игра сравнивает векторы слов по косинусной близости. Для предсказателей свойств молекул такая связь остаётся предположением, поэтому теоретический результат нельзя автоматически переносить на любую внешнюю функцию.
Эксперименты охватывают Semantle и создание молекул с нуля для DRD2, GSK3β и JNK3. При бюджете 500 внешних проверок BOReFT точнее всего восстановил 14 из 30 скрытых целей Semantle и получил лучший результат на двух из трёх молекулярных задач. Удаление восстановления, самодистилляции, вероятностного обучения или общего семантического кодировщика ухудшало поиск, то есть результат давала их связка, а не один приём.
Когда BOReFT меняет архитектурный план
Подход имеет смысл, когда продукт ищет дискретный объект, а проверить его дорого, но результат можно свести к числу. Это относится к молекулам, программам, конфигурациям и другим кандидатам, для которых нельзя получить градиент напрямую. Вместо очередного цикла подсказок команда может один раз обучить область вмешательств, а затем подключать к ней разные стратегии поиска.
BOReFT требует доступа к скрытым состояниям модели. Сервис, который предоставляет только генерацию через API, для такой архитектуры не подходит: вмешательство нужно встроить между слоями. Также потребуется набор объектов с текстовыми описаниями, достаточно связный, чтобы промежуточные коды сохраняли полезную семантику.
Работа не предлагает универсальную замену поиску через подсказки. Она показывает более узкий путь: отделить обучение пространства решений от оптимизации конкретной метрики. Для команды с собственной моделью и дорогой внешней проверкой это повод добавить BOReFT-подобный прототип к сравнению архитектур; для обычной генерации текста выигрыш пока не показан.
Источники
Иллюстрация: рисунок из статьи «BOReFT: Manifold Steering of Language Models for Black-box Optimization», Dhruv Agarwal, Rico Angell, Kavitha Srinivas и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
