Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Языковую модель научили пересматривать вероятность биологической гипотезы по мере поступления результатов и выбирать следующий эксперимент. Ibis0 получала примерно в 2,5 раза больше информации от каждого выбранного эксперимента, чем лучшая из моделей Claude Opus 5 и GPT-5.6-Sol, хотя работа не рецензирована и эти числа получили сами авторы. Для автономных исследовательских систем это повод обучать точные вероятностные оценки отдельно, а не полагаться только на рассуждение модели в ответе.
Для обучения собрали EDB-Bio: модель видит гипотезу, затем последовательно получает результаты связанных исследований и после каждого шага оценивает вероятность её истинности. Прямой эксперимент, который определяет правильный ответ, от модели скрыт. За прогноз модель получает награду по правилам, которые выгоднее всего при честной оценке вероятности, а не при постоянной уверенности.
Модели без дополнительного обучения умели ставить подтверждённые гипотезы выше опровергнутых, но называли плохо откалиброванные вероятности. Их ошибка Брайера — средний квадрат расхождения между прогнозом и результатом, где меньше значит лучше, — оставалась на уровне простого прогноза с вероятностью 50%: 0,25. Вариант Ibis0 с отдельным классификатором на выходе снизил её до 0,177.
Проверка охватывает 96 000 гипотез из трёх областей: реакции раковых клеток на препараты, CRISPR-исследования зависимости клеток от генов и полногеномный поиск генетических связей. В одном эпизоде модель получала до 16 фрагментов свидетельств. Сравнение включало исходную Qwen3, обученные варианты Ibis0 и две закрытые модели; выбор следующего опыта оценивали по ожидаемому приросту информации.
Одной итоговой метрики для такого продукта недостаточно. Вариант с классификатором дал лучший общий прогноз, но сильнее зависел от порядка свидетельств, тогда как обучение через награду точнее задавало размер отдельных пересмотров. При проверке системы стоит раздельно измерять качество вероятностей, реакцию на каждый новый результат и устойчивость к перестановке одного набора данных.
Источники
Иллюстрация: рисунок из статьи «Do Language Models Know What Compelling Scientific Evidence Looks Like?», Conor Igoe, Gabriel Grand, Zane Koch и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
