Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Marc Bara из Universitat Oberta de Catalunya описал проблему, при которой несколько AI-агентов создают видимость независимого подтверждения, хотя опираются на один источник; работа опубликована как препринт, не проходивший рецензирования. При размножении отчётов от одного корневого свидетельства доля случаев, когда интервал оценки включал истинное значение, упала с 0,940 до 0,263. Это важно для команд, которые строят мультиагентные исследования, проверку фактов и системы поддержки решений.
Что сделали
Автор назвал дополнительный отчёт «эпистемическим Sybil», если он не добавляет информации о скрытом состоянии с учётом уже принятых отчётов. Из определения следует архитектурное ограничение: по текстам ответов нельзя в общем случае определить, получены ли они из независимых свидетельств или являются пересказами одного источника. Одинаковые ответы могут возникнуть независимо, а разные формулировки — происходить от общего документа.
Эту гипотезу автор проверил аналитически на гауссовой модели и экспериментально — более чем в 20 000 вызовов LLM-агента на синтетических документах. Число отчётов от одного корня увеличивали от 1 до 32. Агрегатор, который считал ответы независимыми, становился всё более уверенным без соответствующего прироста исходных свидетельств. Учёт общей родословной и корреляции ошибок извлечения возвращал оценкам заявленную калибровку — соответствие выраженной уверенности фактической частоте правильных результатов.
Что это значит
Для мультиагентной системы недостаточно хранить идентификаторы агентов и удалять похожие ответы. Оркестратору нужна родословная свидетельств: какие документы, результаты поиска и промежуточные отчёты использовал каждый агент, где ветви пересекаются и работают ли агенты через общую базовую модель. Если зависимость неизвестна, работа указывает на консервативное объединение оценок вместо автоматического суммирования уверенности.
Ограничения. Работа не показывает, что предложенная модель переносится на реальные корпоративные документы, открытый поиск или произвольные задачи. Эксперименты проведены на одной семье синтетических документов и преимущественно с одной моделью; гауссова схема намеренно упрощает естественный язык. В сравнении не хватает проверки на нескольких базовых моделях и независимых прикладных наборах данных. Кроме того, родословная фиксирует известные связи, но не скрытые общие причины и не подтверждает достоверность первичного источника.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
