AutoTuneBench проверяет ускорение при автонастройке LLM-серверов

Автонастройка LLM-серверов показывает ложное ускорение, если агент может влиять на эталон или измерительный стенд. У лучшего ядра результат упал с 10,6 до 2,03 раза после замены исходной реализации для сравнения, хотя препринт harnets.ai не прошёл рецензирование и все числа получили сами авторы. Такой контур помогает отсеять ошибочную оптимизацию до переноса конфигурации в эксплуатацию.

В цикле автонастройки LLM предлагает код или параметры, стенд измеряет результат, а следующий шаг строится на лучшем варианте. AutoTuneBench отделяет агента от измерительной части: он может менять только заданный файл, тогда как эталонная реализация, проверки корректности и код замеров остаются вне доступной области.

Протокол хранится в фиксированном файле вместе с происхождением каждого параметра. Валидатор базы отклоняет результаты, которые измерили не по этому протоколу, а отдельные проверки помещают в карантин неправдоподобные скачки скорости и запрещённые обращения к библиотечной реализации. Повторные замеры должны оставаться стабильными и использовать одинаковые наборы случайных входов.

Сравнения задают до запуска эксперимента. Для тестов с подсказками профилировщика система отдельно проверяет, что подсказка действительно попала в запрос агенту: без этого неисправность инфраструктуры выглядит как отсутствие эффекта. Результаты также сверяют с опубликованными внешними замерами, на которые агент не может повлиять.

Протокол проверяли на vLLM и SGLang, а также на 100 задачах KernelBench Level-1. Корректный вариант удалось получить для 51% задач, но медианное ускорение составило 1,0001 раза относительно PyTorch eager — практически без выигрыша. Основной корпус GPU-замеров собрали на одной машине; перенос одного выбранного варианта отдельно проверили на Apple M5 Max с заново измеренной локальной базой и получили обратный результат.

Источники

• AutoTuneBench: Trustworthy Measurement for Agent Auto-Tuning of LLM Serving Engines