Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Пользовательский запрос может обмануть планировщик LLM и пройти очередь раньше, хотя ответ останется длинным. В препринте, который не прошёл рецензирование и приводит замеры самих авторов, атака JIL снижала прогноз длины до 83,4%, а атакующие запросы завершались в среднем максимум в 1,53 раза быстрее. Значит, прогнозы, по которым система распределяет вычислительные ресурсы, нельзя считать доверенными.
Планировщик TRAIL ставит короткие запросы перед длинными, чтобы сократить среднее время ожидания. Поскольку длина ответа заранее неизвестна, отдельный лёгкий модуль оценивает её по внутреннему представлению запроса, а планировщик назначает приоритет по этой оценке.
JIL добавляет к запросу суффикс из 20 токенов и подбирает его так, чтобы модуль занизил прогноз. Для подготовки атаки нужен полный доступ к целевой модели, модулю оценки и их градиентам; для каждого запроса суффикс строится отдельно. Сам планировщик и запросы других пользователей менять не требуется.
Прогноз сокращался заметно сильнее, чем фактическая длина ответа. Поэтому запрос получал приоритет короткого, но занимал вычислительные ресурсы дольше ожидаемого и задерживал обычные запросы в той же очереди. Польза ответа зависела от модели и задачи: иногда суффикс ухудшал качество, поэтому преимущество по времени не всегда доставалось бесплатно.
Манипуляцию прогнозом проверяли на Llama-3-8B-Instruct, Qwen2.5-7B-Instruct, Mistral-7B-Instruct-v0.3 и Llama-3.1-70B-Instruct, используя Alpaca, UltraChat, ARC-Challenge и HellaSwag. Полные эксперименты с очередью провели только для Llama-3-8B-Instruct в связке TRAIL/vLLM на одном NVIDIA B200; в каждом потоке было 20 обычных и пять атакующих запросов.
Грубое разбиение прогнозов на интервалы уменьшило преимущество JIL и задержки остальных запросов. Для собственной инфраструктуры вывод шире конкретной атаки: если управленческое решение зависит от оценки, вычисленной из пользовательского ввода, стоит ограничить влияние этой оценки и предусмотреть продвижение давно ожидающих запросов.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
