Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Голосовой напарник PUBG Ally научился играть в паре с человеком, выполнять команды и согласовывать реплики с действиями в живом матче. В нерецензированном препринте все числа получены самими авторами: на компьютере игрока один голосовой обмен занимал около 1,6 секунды против 3,4 секунды при облачной конфигурации. Для продуктов, где ИИ должен говорить и действовать без задержки, работа предлагает практичную схему: медленное рассуждение отделяют от быстрого управления.
LLM-агент включается по событиям, распознаёт речь, запрашивает нужные сведения о матче и выбирает реплику или действие высокого уровня. Он не управляет персонажем напрямую: дерево поведения исполняет команды, двигается, сражается и поднимает раненого напарника с частотой игрового цикла. Так вывод LLM не попадает в критический по задержке контур.
Для обучения собрали почти 39 тысяч игровых сессий с людьми. Сначала большая модель создавала демонстрации, затем исправляла выбранные ошибки следующих версий; итоговую модель с 2 млрд параметров дообучили на этих траекториях. Оценку тоже корректировали по предпочтениям игроков: успешная команда ещё не делает агента хорошим напарником, если тот отвечает невпопад, говорит в неподходящий момент или обещает действие, но не выполняет его.
Языковая модель, распознавание и синтез речи работают рядом с игрой на потребительской GPU с памятью от 8 ГБ. Чтобы уложиться в ресурсы, система сокращает историю до значимых событий и текущего плана. Для безопасности она сочетает целевое обучение, проверки во время работы и очистку памяти, при этом отличает допустимые разговоры о бое в игре от угроз реальным людям.
Систему проверяли в парном режиме на карте Sanhok: один человек играл с Ally в матчах на 64 участника и говорил через канал push-to-talk. Бета поддерживала английский, корейский и китайский языки. В опросе игроков из 141 страны положительных ответов на вопрос о рекомендации Ally оказалось на 25,1 процентного пункта больше, чем отрицательных.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
