Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Медицинский агент может заменить правильный ответ неверным, когда получает ошибочный результат внешнего инструмента. В препринте, который не прошёл рецензирование и приводит замеры самих авторов, команда Chinese Academy of Sciences и Massachusetts General Hospital показала, что отдельная проверка результатов до передачи отвечающей модели превосходит допуск всех сведений. Для архитектуры агента это меняет место проверки: она должна стоять между вызовом инструмента и контекстом модели.
Как результат инструмента перехватывает решение
Медицинские агенты вызывают сегментаторы, генераторы заключений, поиск по документам и другие специализированные системы. Обычно всё, что вернул инструмент, сразу попадает в контекст модели, которая формирует итоговый ответ.
Проблема возникает, когда инструмент ошибается без явного сигнала. Неверная граница образования выглядит как обычная маска, ошибочный показатель приходит в ожидаемом формате, а выдуманный фрагмент заключения написан тем же уверенным тоном, что и верный. Формат не помогает модели отличить ошибку от полезного результата.
Авторы называют это перехватом решения доказательством (evidence hijacking). Модель могла правильно ответить по исходному снимку или описанию случая, но меняет решение после добавления ошибочного результата инструмента. Проверка внутри той же модели не решает исходную проблему: подозрительное сведение уже влияет и на ответ, и на попытку его проверить.
Работа связывает эффект с полезной информацией — той частью входных данных, которую конкретная модель способна применить при решении задачи. Дополнительный результат может упростить извлечение нужного признака, но может и направить ограниченную модель к неверному выводу. Замороженная модель не умеет буквально забыть уже добавленный фрагмент контекста.
Как CIEG решает, что попадёт в контекст
Схема контекстно-независимого управления доказательствами (CIEG) разделяет сбор данных, их допуск и ответ. Каждый инструмент сначала создаёт карточку: формулирует вывод и прикладывает материал, по которому его можно проверить. Для сегментации это контур поверх исходного изображения, для поиска — дословный фрагмент документа, для генератора заключений — текст результата.
Затем независимая модель-проверяющий видит исходные данные и весь набор карточек. Она сопоставляет вывод каждой карточки с первичным материалом, ищет противоречия и решает, какие карточки можно передать дальше. При этом проверяющий не знает предварительного ответа основной модели и не может выбирать сведения только потому, что они подтверждают уже возникшую гипотезу.
Отвечающая модель получает исходный случай и только допущенные карточки. Все компоненты остаются замороженными: CIEG не требует дополнительного обучения и меняет прежде всего сборку контура вокруг моделей.
Авторы отдельно различают два эффекта фильтрации. Система может улучшить результат просто потому, что сократила контекст, или потому, что выбрала более надёжные сведения. Поэтому фильтр сравнивали не только с допуском всех карточек, но и со случайным выбором такого же их количества. CIEG статистически значимо обошёл случайный допуск на всех проверенных задачах, значит результат объясняется содержанием выбранных карточек, а не одним сокращением контекста.
Что менять в архитектуре медицинского агента
На задаче выявления глаукомы одна ошибочная карточка снизила сбалансированную точность при допуске всех результатов с 0,83 до 0,61. Эта метрика усредняет качество по классам и не позволяет более частому классу скрыть ошибки на редком. Эффект возник при неизменном числе карточек, поэтому его нельзя объяснить перегруженным контекстом.
CIEG проверили на 400 изображениях глазного дна, снимках грудной клетки и трёх наборах медицинских вопросов. Использовали маски сегментации, сгенерированные заключения и найденные фрагменты документов; сравнивали с отсутствием карточек, допуском всех результатов, случайным фильтром и агентами на той же базовой модели. На глаукоме CIEG получил 0,730 против 0,636 у лучшего из двух простых вариантов — пропустить всё или не пропустить ничего.
Работа не доказывает, что та же схема даст такой же выигрыш в другом домене или с другой моделью. Её практический результат уже достаточно конкретен: если инструменты ошибаются без предупреждения и возвращают разнородные данные, их выводы не стоит напрямую добавлять в контекст отвечающей модели.
Команде понадобится единый формат проверяемой карточки, который хранит не только заключение, но и основание для него. Между исполнителем инструмента и отвечающей моделью нужен отдельный шлюз допуска. Его следует оценивать против случайного фильтра с тем же числом пропущенных карточек, иначе сокращение контекста можно ошибочно принять за качественный отбор.
Такая перестройка усложняет конвейер ещё одним вызовом модели, но изолирует наиболее опасную точку: неверный результат не попадает в рассуждение до проверки. Для медицинских агентов это выглядит убедительнее, чем просьба к уже введённой в заблуждение модели перепроверить саму себя.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



