Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Независимо обученные группы языковых моделей выработали несовместимые способы обмена скрытыми векторами, а один унаследованный интерфейс помешал освоить новую задачу. В препринте Narcis Marincat, который не проходил рецензирование и содержит замеры самого автора, замена только компонентов связи подняла долю правильных ответов с 16,9% до 85,7%. Значит, при переносе системы из нескольких моделей старый канал связи стоит сравнивать с новым, а не считать готовым активом.
В эксперименте четыре экземпляра Qwen2.5-0.5B-Instruct последовательно решали задачу и передавали друг другу непрерывные пакеты скрытых состояний. Шесть независимо обученных групп кодировали в пакетах один и тот же промежуточный смысл, но не пришли к общей системе координат: одна пара с одинаковой инициализацией обменивалась пакетами без ошибок, другая оставалась совместима лишь частично, а все 26 направлений между разными инициализациями провалили проверку.
Простое выравнивание координат проблему не сняло. Исследователь проверил исходные пакеты, ортогональное преобразование, линейное отображение и небольшую нелинейную сеть; преобразования обучали отдельно от контрольных примеров. Результат указывает на «частные диалекты»: модели передают сопоставимый смысл, но привязывают его к разным координатам, заданным начальным состоянием и последующим обучением.
Отдельный опыт показал отрицательный перенос. У модели, которая во время исходного обучения видела всю задачу целиком, сохранённые компоненты чтения, записи и декодирования пакетов удерживали обучение на старом способе связи. Их повторная инициализация при сохранении того же LoRA-адаптера позволила освоить новые инструкции. У интерфейсов, обученных при ограниченной видимости, наследование не дало заранее заданного преимущества в десять процентных пунктов перед свежим интерфейсом.
Проверка охватывает близкий перенос в задаче с 17 состояниями. Вывод об отрицательном переносе основан на одном контрольном экземпляре с полной видимостью, поэтому это разбор конкретного механизма, а не общее правило для любых многоагентных систем. Практический критерий остаётся прямым: переносимый интерфейс должен выигрывать у повторной инициализации на целевой задаче.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
