Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Программы для математических и вычислительных задач можно искать быстрее, если агенты обмениваются внутренними состояниями модели, а не длинными текстовыми рассуждениями. В препринте Qile Jiang и George Em Karniadakis, который не прошёл рецензирование и приводит замеры самих авторов, SwarmEvolve достигал часового результата конкурентов за медианные 3–8 минут. Для команд, которые управляют запуском модели, вывод практический: выгоднее параллельно исследовать больше коротких скрытых траекторий, а текст генерировать только при сборке программы-кандидата.
Как рой работает без текстового диалога
Обычный эволюционный поиск хранит архив программ, выбирает удачные варианты и просит LLM предложить изменения или соединить несколько решений. Значительная часть времени уходит на цепочки рассуждений: модель декодирует их в текст, следующая модель снова кодирует текст, а растущий контекст приходится обрабатывать при каждом ходе.
SwarmEvolve оставляет рассуждение внутри модели. Агент подаёт своё последнее скрытое состояние на вход следующего шага и не выбирает текстовые токены. За один раунд система запускает 450 таких агентов, распределённых между роями с разными задачами: улучшить сильную программу, соединить несколько кандидатов, проверить менее изученное направление или начать заново.
Каждый агент получает условие задачи, одну родительскую программу и собственную установку — например, пересмотреть допущение или рассуждать от первых принципов. После 40 скрытых шагов фильтр сравнивает усреднённые векторы агентов и оставляет наиболее различающиеся траектории. Так система сохраняет разнообразие без генерации сотен текстовых ответов.
Результаты работы агентов передаются через KV-кэш — сохранённые ключи и значения слоёв внимания, которые обычно помогают модели не пересчитывать предыдущий контекст. Итоговый агент получает объединённые кэши выбранных участников роя и только тогда пишет новую программу. Для Qwen3 ключи дополнительно сдвигают с учётом их позиции в общем контексте, иначе модель смешала бы блоки, рассчитанные для одинаковых позиций.
Полученные программы проходят проверку синтаксиса и детерминированную оценку на CPU, после чего попадают в архив вместе с результатами и ошибками. Отдельный агент меняет числовые параметры лучшего кандидата. Следующий раунд снова выбирает программы из архива, поэтому скрытый рой заменяет этап мутации и скрещивания, но не весь эволюционный цикл.
Меньшая модель обошла более крупные в том же бюджете
SwarmEvolve сравнили с OpenEvolve, ShinkaEvolve и CodeEvolve на 21 задаче по упаковке, геометрии, анализу, комбинаторике и научным вычислениям. Все системы получали одинаковый часовой бюджет, один GPU и параллельную оценку программ на CPU. Эксперименты повторили с тремя размерами Qwen3.
Система проверяла в 5–13 раз больше программ в час и показала лучший средний результат с каждым размером модели. Вариант на Qwen3 8B в среднем превзошёл все три конкурирующие системы, даже когда те работали на Qwen3 32B-FP8. Значит, в этом режиме ширина поиска дала больше, чем простая замена модели на более крупную.
На нескольких задачах маленькая замороженная Qwen3 улучшила решения, которые AlphaEvolve ранее нашёл с Gemini. Этот результат не означает общего превосходства над AlphaEvolve: сравнение охватывает конкретные задачи, исходные программы и автоматические оценщики. Часть набора взяли из материалов AlphaEvolve, а задачи по дифференциальным уравнениям, собственным значениям и разреженным системам подготовили для этой работы.
Наибольший выигрыш рой давал в начале поиска, когда широкий набор направлений быстро находил сильные программы. Позже конфигурации с разным числом агентов сближались. Метод поэтому особенно интересен там, где нужно получить хороший кандидат в ограниченное время, а не бесконечно улучшать одну траекторию.
Когда скрытый обмен стоит заложить в архитектуру
Работа меняет планы команд, которые строят поиск программ вокруг локально запущенной LLM и могут управлять её слоями внимания. Если система сейчас заставляет десятки агентов писать рассуждения друг для друга, промежуточный текст можно рассматривать как необязательный транспорт. Архив решений, оценщик и правила отбора при этом сохраняются.
Метод лучше всего подходит задачам с однозначной автоматической оценкой: скорости алгоритма, точности численного решения или значению математической конструкции. Без такого оценщика рой сможет породить много вариантов, но эволюционному циклу будет не на что опереться при отборе.
Перенести схему как готовый модуль получится не везде. Все агенты и итоговый сборщик должны использовать одну модель, потому что KV-кэш одной модели нельзя напрямую прочитать другой. Реализация также рассчитана на стандартный механизм внимания; модели с линейным вниманием или сжатым состоянием требуют другого способа объединять внутренние представления.
Память растёт вместе с числом агентов, скрытых шагов и слоёв модели. Поэтому практический пилот стоит начинать с небольшой модели и существующего оценщика, сравнивая лучший найденный результат за одинаковое время и расход памяти. Если скрытый рой выигрывает у текстовых мутаций, увеличение числа параллельных траекторий может оказаться полезнее перехода на следующую по размеру LLM.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
