Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Обучение на известных структурах белков помогло языковой модели лучше решать задачи, не связанные с белками. В препринте Yong Liu и соавторов, который не прошёл рецензирование и содержит собственные замеры авторов, Fold2Reason поднял средний результат на 3,23 процентного пункта. Для команд это повод рассматривать научные архивы как источник проверяемых обучающих примеров, но не как готовую замену обычному дообучению.
Структура белка превращается в набор точных вопросов
Обычный текст часто содержит готовый ответ, но не фиксирует пространственные связи, из которых он следует. У белка есть известные координаты атомов, поэтому программа может автоматически проверить, соприкасаются ли два участка, какой из них ближе к центру, как ориентированы фрагменты и какую хиральность образует локальная структура.
Для FoldingCorpus авторы применили к каждому белку 12 детерминированных операторов. Они создают вопросы о контактах, расстояниях, направлениях, ориентации сегментов и сочетаниях нескольких условий. Координаты служат только для вычисления правильных ответов и не попадают в запрос к модели.
Такой подход отличается от генерации примеров другой LLM. Ответ здесь определяет программа по экспериментально известной структуре, поэтому его можно перепроверить без модели-оценщика. Один и тот же объект также даёт несколько связанных задач, которые требуют учитывать локальные и дальние связи внутри последовательности.
Fold2Reason обучает низкоранговые адаптеры LoRA двумя сигналами. Первый проходит через обычный выходной слой языковой модели: она выбирает токен с правильным ответом на структурный вопрос. Второй заставляет те же внутренние представления сохранять непрерывную геометрию, из которой отдельный модуль восстанавливает координаты и расстояния между участками белка.
Геометрический модуль заморожен, поэтому он не может сам приспособиться к задаче и забрать обучение на себя. Градиенты меняют общий промежуточный модуль и адаптеры Qwen. После дообучения промежуточный модуль, белковые входы и декодер координат удаляют: в тестах остаётся базовая языковая модель с адаптером.
Основной прирост дали проверяемые ответы, а не восстановление координат
На сводном наборе General-10 результат вырос в каждом тестовом наборе: в пространственных задачах по тексту, изображениям и видео, в рассуждениях по графам, химии, лабораторных сценариях и общих логических заданиях. Эффект не сводился к внутреннему тесту авторов: после его исключения средний результат также оставался выше базового.
Разбор компонентов показал, что обучение только на вопросах FoldingCorpus прибавило 2,93 процентного пункта. Геометрический сигнал добавил ещё 0,30 пункта и сильнее повлиял на пространственные проверки и локальное чтение структуры. Значит, перенос в основном создают точные дискретные задачи, а непрерывная геометрия служит небольшой специализированной добавкой.
Случайные и перемешанные цели не повторили эффект. Копирование кодов ответов почти не изменило средний результат, а фиксированная перестановка правильных меток его снизила. Следовательно, модель выиграла не только от формата коротких ответов: имело значение соответствие между последовательностью белка и его реальной структурой.
На FoldBench система получила по метрикам структурного прогноза результат в 2,7–3,5 раза выше исходной Qwen при прямой генерации координат. При этом глобальное восстановление свёртки оставалось слабым. Работа показывает перенос поведения, но не доказывает, что модель освоила единый универсальный алгоритм пространственного рассуждения: она могла научиться надёжнее применять уже существующие внутренние возможности.
Работа меняет план данных, но пока не выбор базовой модели
Основной эксперимент обучал Qwen3.5-9B на 1 000 коротких белках и повторял обучение с тремя независимо полученными адаптерами. Проверка охватывала разные типы задач, однако один из тестовых наборов создан авторами, а перенос на FoldBench не подтверждает работу с удалённо родственными белками и неизвестными типами свёртки.
Эффект также зависит от модели. Обучение помогло нескольким размерам Qwen и InternVL3.5-8B, но оказалось нейтральным для протестированной Gemma. Поэтому перенос нельзя заранее считать свойством любого трансформера или любого адаптера.
Для продуктовой команды практический вывод касается не белков как таковых, а устройства обучающих данных. Если предметная область хранит объекты со строгой внутренней структурой — графы, траектории, чертежи, молекулы или состояния процесса, — из них можно программно получать взаимосвязанные вопросы с однозначными ответами. Такой набор стоит сравнивать с обычными синтетическими инструкциями на задачах, которые не встречались при обучении.
Архитектурный приём тоже применим шире: специальный декодер можно оставить только на этапе обучения, а в продукт вынести компактный адаптер к обычной LLM. Но результат Fold2Reason пока обосновывает пилот, а не смену технологического стека. Команде всё равно потребуется собственная контрольная выборка, случайные и перемешанные цели для проверки причин эффекта и сравнение нескольких базовых моделей.
Источники
Иллюстрация: рисунок из статьи «Does Learning Protein Folding Generalize to Broader Reasoning?», Yong Liu, Zhanpeng Shi, Yizhou Dang и др., CC BY-SA 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
