Агенты LLM перенимают ложь, не соглашаясь с ней вслух

В групповых обсуждениях LLM ложный ответ может распространиться между агентами, почти не проявляясь в общей переписке. В нерецензированном препринте, где все числа получили сами авторы, при трёх атакующих агентах ложный ответ встречался в 51,6% частных проверок, но публично его поддерживали лишь в 19,7% реплик после контакта с атакой. Поэтому контроль только по журналу сообщений пропускает большую часть сбоя.

В каждом эксперименте десять агентов обсуждали фактический вопрос на протяжении 16 раундов. Один или несколько атакующих участников повторяли правдоподобный ложный ответ, не меняя параметры моделей и не получая доступа к их внутреннему состоянию. После каждого раунда обычных агентов отдельно спрашивали об ответе: результат этого вызова не попадал в общий разговор.

Даже один атакующий агент довёл итоговую долю ложных частных ответов до 44,8% против 0,6% в обсуждениях без атаки. При этом заражённые агенты часто молчали, отвечали уклончиво или обсуждали тему, не поддерживая ложь напрямую. Затем ошибку начинали передавать уже обычные участники, поэтому исходное вредоносное сообщение запускало каскад внутри группы.

Проверка охватила шесть моделей и три набора вопросов: CounterFact, PopQA и SimpleQA. Все участники одного обсуждения работали на одной базовой модели, не знали об атаке и не получали отдельной роли проверяющего. Эксперимент измеряет поведение в свободной дискуссии о фактах, а частный ответ означает отдельный вызов с текущей историей разговора, а не чтение скрытого состояния модели.

Для систем с несколькими агентами публичное несогласие нельзя считать достаточным признаком устойчивости. Проверка должна отдельно фиксировать ответы участников, не показывать их группе и срабатывать в первых раундах: просмотр готовой переписки не обнаруживает значительную часть уже распространившейся ошибки.

Источники

• Believed but Not Said: Measuring Hidden Belief Collapse in Multi-Agent LLM Discussions