Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
В смешанной агентной системе модель, уверенная в ответе наедине, может отказаться от него после одного сообщения другой модели. Хотя препринт не рецензирован и все числа получили сами авторы, малые модели убеждали крупные не хуже, чем крупные — малые. Для архитектуры это означает: устойчивость надо проверять на конкретных парах, а не выводить из размера и одиночных тестов.
Для проверки два агента сначала независимо решали одну задачу и объясняли ответ. Если ответы расходились, один агент получал решение второго и пересматривал своё. Генерацию повторяли, чтобы отделить влияние собеседника от случайного разброса ответов.
В большинстве сочетаний оценка влияния превышала 0,5: вероятность ответа сдвигалась к позиции второго агента больше чем на половину максимально возможного значения. При этом результат сильнее зависел от податливости слушателя, чем от убедительности говорящего. Иногда возникал обратный эффект: модель после чужого возражения ещё сильнее придерживалась исходного ответа.
Уверенность в одиночном тесте не защищала от такого сдвига. Gemma-27b при распознавании сарказма выдавала один и тот же ярлык в 99,95% случаев, но её податливость влиянию достигла 0,89. Почти одинаковое поведение без собеседника поэтому не гарантирует стабильности после обмена сообщениями.
Эксперименты охватили семь моделей семейств Gemma, Llama, Qwen и GPT-OSS и три бинарные задачи: определение тональности, вопросы на здравый смысл и распознавание сарказма. Сравнивали как одинаковые модели, так и разные семейства и размеры. Метрика описывает сдвиг решения после разногласия, а не прирост качества ответа.
При проектировании системы недостаточно выбрать сильные модели и проверить каждую отдельно. Нужен тест всей схемы обмена: одна и та же пара может вести себя по-разному после смены ролей, а небольшая модель — переубедить крупную. Практический артефакт такого теста — направленная матрица влияния для рабочих запросов, где отдельно видны устойчивые и податливые агенты.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
