Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Локальный научный ассистент научился отвечать по закрытому корпусу больше чем вдвое точнее языковой модели без инструментов. В препринте Markus Fischer, Jens Meiler и Matthias Elgeti, который не рецензирован и содержит замеры самих авторов, агентная обвязка также обошла простую схему поиска с дополнением контекста (RAG). Это меняет порядок разработки: сначала стоит проверить поиск, чтение и правила работы с источниками, а уже затем выбирать модель крупнее.
Munin сам решает, что искать и читать
Munin работает на инфраструктуре организации и индексирует загруженные статьи, внутренние отчёты и рукописи. Система хранит векторный индекс, граф цитирования и разобранные PDF, а модель подключается через совместимый с OpenAI API.
Главное отличие от обычного RAG — модель не получает заранее выбранный набор фрагментов. Она сама запускает поиск, открывает документы, проверяет ссылки, выполняет вычисления и решает, достаточно ли найденных свидетельств. Если материала нет в корпусе, контур может прекратить поиск и отказаться от ответа.
Это разделяет модель и способ её использования. Одну модель можно запустить без инструментов, с фиксированной выдачей поиска или внутри полного агентного контура. Такое сравнение показывает, какой вклад даёт сама LLM, а какой — поиск и чтение документов.
Система сохраняет данные локально. Машина с корпусом не принимает входящие подключения: интерфейс связывается с ней через туннель, который открывается со стороны закрытой инфраструктуры. Исходящий доступ можно полностью отключить, разрешить только научные API либо дополнительно открыть веб-поиск.
Фиксированный контекст оказался хуже отсутствия поиска
Главное сравнение провели на 199 вопросах по научной литературе. Точность считали как долю правильных ответов среди всех вопросов, поэтому отказ тоже снижал итоговый показатель. Полный контур поднял результат базовой модели с 38,7% до 87,4%.
Простая схема, которая добавляла к запросу пять первых найденных документов, уступила модели без поиска во всех проверенных конфигурациях. Нерелевантные фрагменты направляли модель к тексту, где не было ответа, и мешали использовать знания, уже полученные при обучении.
Агентный контур не просто отвечал чаще. Доля утверждений, которые можно связать с прочитанным моделью фрагментом, выросла примерно вдвое относительно фиксированного поиска. Когда исходную статью убирали из корпуса, система отказывалась от 80–90% вопросов, на которые ранее отвечала правильно. В тесте с 300 вымышленными ссылками она не создала ни одной ложной локальной ссылки.
Проверка охватила Qwen3.6, Qwen3.8 и gpt-oss-20b от двух разработчиков. Последняя модель помещается на одной потребительской GPU. При полностью отключённом внешнем доступе обе конфигурации Qwen превысили опубликованный результат PaperQA2.
Работа сосредоточена на вопросах, где ответ обычно находится в одной исходной статье из корпуса по биофизике и биохимии. Она не проверяет полноценное исследование, в котором требуется сопоставлять десятки публикаций, писать код и анализировать новые данные.
Командам стоит тестировать контур, а не выбирать LLM по таблице
Для продукта над закрытыми документами работа меняет стартовую архитектуру. Фиксированный поиск по ближайшим фрагментам нельзя считать безопасной базовой версией: он способен ухудшить результат относительно модели без доступа к документам. В испытания стоит включить все три режима — чистую модель, фиксированный поиск и агентный контур.
Авторы также отказались от предварительных пересказов найденных фрагментов. Пересказ удалял числовые значения, ради которых задавали вопросы, поэтому агент чтения теперь получает полный размеченный текст. Это означает больший расход токенов, но сохраняет первичные свидетельства и позволяет проверить ответ.
Ограничения на поведение лучше задавать кодом. Просьба искать тщательнее увеличила число вызовов инструментов, но не улучшила точность. Жёсткий счётчик вызовов, напротив, ограничил самые длинные траектории без заметного ухудшения привязки к источникам.
Практический результат Munin — не универсальный показатель для выбора модели, а воспроизводимая схема приёмки. Набор тестов запускается одной командой, поэтому команда может повторить сравнение на своём корпусе после замены модели, кодировщика, индекса или агентной логики. Для закрытой базы документов такой тест полезнее общего рейтинга LLM: он измеряет весь путь от запроса до проверяемого ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
