Журнал · Rit.work

RSIBench-Infra проверяет, могут ли ИИ-агенты ускорять весь контур работы моделей

RSIBench-Infra измеряет, способны ли ИИ-агенты ускорять обучение и выполнение моделей на десятках задач, не жертвуя качеством результата.

Rit.work
Студия разработки
19 ноября 2026 г.3 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

ИИ-агенты смогли ускорять обучение и выполнение моделей не только в отдельных программных ядрах, но и во всём рабочем контуре. Команда Hanlin Wu представила RSIBench-Infra, где 66,2% результатов показали ускорение более чем на 10%, хотя работа пока не рецензирована и числа получили сами авторы. Для команд это аргумент проверять агентов на реальной инфраструктуре, но не считать их готовой заменой инженерам по производительности.

Локальное ускорение ещё не ускоряет продукт

Многие задания для агентов проверяют один слой системы. Например, агент переписывает вычислительное ядро, после чего тест измеряет скорость только этого фрагмента. Такой результат показывает, что агент нашёл более быстрый вариант кода, но не отвечает на главный производственный вопрос: сократилось ли полное время обучения или обработки запроса.

Ускорение отдельной операции может исчезнуть после сборки всего контура. Выигрыш съедают передача данных, подготовка пакетов, синхронизация ускорителей, загрузка модели и другие части исполнения. Оптимизированный фрагмент также может нарушить требуемую точность или изменить результат вычислений.

RSIBench-Infra измеряет сквозное ускорение (end-to-end): от запуска рабочей конфигурации до результата всей задачи. При этом тест учитывает отдельные требования к качеству. Быстрое решение не засчитывают как успешное, если оно не проходит заданное для задачи ограничение.

Это делает бенчмарк ближе к производственной проверке, чем соревнование по скорости одного ядра. Он оценивает не красоту локальной оптимизации, а её влияние на итоговую пропускную способность или время выполнения.

Агент может менять движок, ядра и инструкции

Бенчмарк включает 20 задач обучения и выполнения моделей из разных семейств и для разных типов данных. Развёртывания используют до 32 ускорителей: в проверку входят NVIDIA GPU и Ascend NPU. Такой масштаб позволяет увидеть проблемы, которые не проявляются при запуске одной операции на одном устройстве.

В каждой задаче агент получает рабочую исходную конфигурацию, собранную по официальным инструкциям. Он может менять программный стек на уровне движка, вычислительных ядер и инструкций процессора. Поэтому тест не привязывает оптимизацию к одному заранее выбранному месту.

Изменения передают как слой образа контейнера в формате OCI. Это отделяет исправления агента от исходной среды и позволяет повторно развернуть получившуюся конфигурацию. Затем независимая проверка измеряет полную производительность и сверяет качество с условиями конкретной задачи.

Заданный порог ускорения прошли примерно две трети результатов. Одновременно работа показывает, что удачная локальная правка не всегда превращается в выигрыш всего контура: агентам трудно стабильно выбирать полезную стратегию и учитывать взаимодействие слоёв.

Проверка охватывает разные модели, типы данных и две аппаратные платформы; поскольку материал подготовлен по абстракту, а полный текст недоступен, из описания нельзя восстановить состав отдельных заданий и точную схему подсчёта итогового результата.

Планы меняет способ проверки, а не готовность технологии

Работа не показывает, что агенту уже можно передать производительность инфраструктуры без контроля. Доля успешных результатов означает обратное: ускорение возможно достаточно часто, чтобы запускать такие эксперименты, но оно пока не воспроизводится во всех задачах.

Для команды, которая строит собственную платформу обучения или выполнения моделей, меняется устройство испытательного контура. Агенту стоит давать не изолированный фрагмент кода, а воспроизводимую рабочую конфигурацию. Результат нужно принимать только после полного запуска с проверкой качества.

Контейнерный слой также даёт практический шаблон для безопасных экспериментов. Изменения можно хранить отдельно, повторять на чистой среде и сравнивать с исходной конфигурацией. Это снижает риск принять ускорение, которое зависит от незадокументированного состояния системы.

Командам не стоит переносить общий процент успеха в расчёт бюджета или сроков своего продукта. RSIBench-Infra объединяет разные задачи, а эффект конкретной оптимизации зависит от модели, оборудования и узкого места в контуре. Полезный следующий шаг — повторить подход на собственной нагрузке и заранее задать требования к скорости, качеству и воспроизводимости.

Главный результат работы — не отдельный способ ускорения, а критерий оценки агентов. Оптимизация считается полезной, только когда она переживает повторное развёртывание, сохраняет качество и сокращает время всей задачи.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу