Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Высокие результаты LLM-агентов в молекулярной оптимизации с малым бюджетом часто объясняются доступом к известным соединениям, а не поиском по обратной связи. Хотя препринт не рецензирован и числа получили сами авторы, простой алгоритм без LLM почти повторил результат полноценного агента. Поэтому сравнивать архитектуры по исходным баллам PMO недостаточно: сначала нужно закрыть доступ к ответам и добавить тривиальный поисковый ориентир.
Как отделили поиск от узнавания задачи
Jiayu Qin и соавторы проверили LeadOpt-Agent на PMO — наборе задач, где алгоритм предлагает молекулы, а функция-оценщик возвращает численный балл. Бюджет ограничили 50 вызовами для каждой из 23 задач. Итоговая метрика показывает, насколько быстро растёт лучший найденный балл: ранняя удачная молекула приносит больше пользы, чем такая же находка в конце.
Обычный режим давал агенту название задачи, её описание и справочник с известными активными соединениями. Например, задача могла прямо содержать название препарата, а справочник — его структуру или молекулу, активную против нужной мишени. Агент на gpt-4o-mini сначала оценивал эти соединения, затем предлагал варианты и корректировал гипотезу по ответам функции.
В обезличенном режиме название заменили нейтральной меткой, описание убрали, а справочник очистили. Агент видел только баллы предложенных молекул. Промежуточный вариант сообщал вид цели — например, сходство со скрытым образцом — но не раскрывал сам образец и его название.
Отдельный алгоритм вообще не использовал LLM. Он последовательно отправлял соединения из справочника, несколько исходных молекул и простые варианты лучшей структуры с заменой одного атома. Так исследователи измерили, какую долю результата можно получить прямым извлечением известных ответов.
Полный эксперимент охватил все задачи PMO по одному запуску на условие. Главный контраст между открытым и обезличенным режимами дополнительно повторили на восьми задачах с тремя начальными состояниями. Поэтому вывод относится прежде всего к этому агенту, этой модели и малому бюджету, а не ко всем способам применять LLM в химии.
Справочник дал большую часть результата
С открытыми названиями и соединениями суммарная площадь под кривой составила 14,44. После полного обезличивания она упала до 4,85. Алгоритм без LLM, который только перебирал справочник и локальные варианты, набрал 12,16 — 84% результата полного агента.
Знание одного лишь вида функции подняло результат до 5,39. Значит, подсказка «ищите молекулу, похожую на скрытый образец» почти не компенсировала удаление названий и готовых структур. Основной выигрыш возникал до содержательной оптимизации: система начинала поиск рядом с уже известным хорошим ответом.
Это не делает извлечение известных молекул бесполезным. Если продукт должен находить зарегистрированный препарат, аналог или известный активный каркас, доступ к справочнику решает реальную задачу. Но такой тест нельзя использовать как доказательство, что агент умеет самостоятельно находить новые перспективные области химического пространства.
Положительный контроль показал, что оптимизация без справочника всё же возможна. Популяционный агент MolLEO-v4 превзошёл REINVENT при одинаковом малом бюджете и не получал названия мишеней или готовые структуры. Работа поэтому критикует не сам подход с LLM, а смешение поиска, памяти модели и прямого доступа к ответам в одной метрике.
Что менять в планах молекулярного поиска
Команде, которая выбирает агента по PMO, стоит запрашивать два режима одного эксперимента. Первый сохраняет рабочий сценарий со справочниками и описаниями. Второй скрывает названия препаратов, мишеней и эталонные структуры, но оставляет тот же бюджет, функцию оценки и цикл предложений. Разница показывает, какая часть качества зависит от доступной информации, а не от поиска по обратной связи.
Если продукт использует поиск по внутренней базе соединений, его нужно сравнивать с детерминированным алгоритмом, который обращается к той же базе без LLM. Агент оправдан, когда стабильно улучшает этот ориентир, а не просто повторяет найденные записи более сложным способом.
Вторая проверка нужна для задач с молекулярным докингом. На ProteinLeadOpt-50 случайный поиск с одной локальной правкой обошёл испытанного LLM-агента по улучшению докинга и общей оценке, хотя уступил по показателю пригодности молекулы для лекарства. Это значит, что функция оценки и ограничения могли вознаграждать почти любое движение в лёгком локальном направлении.
Этот результат проверяли на одной составной функции AutoDock Vina и одном наборе исходных молекул. Он не доказывает, что случайный поиск всегда лучше агента, но задаёт обязательный нижний ориентир: те же исходные структуры, те же допустимые изменения и тот же бюджет вызовов.
Работа не требует отказываться от LLM-агентов. Она меняет порядок проверки: сначала обезличенный тест, справочный алгоритм без LLM и случайный локальный поиск, затем сравнение моделей и агентных циклов. Без этих проверок высокий балл может измерять качество подсказки или мягкость функции, а не способность оптимизировать молекулу.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
