Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Агента для непрерывно меняющейся среды удалось улучшить без обращения к сильной модели во время работы. В препринте, который не проходил рецензирование, все числа получили сами авторы: средний результат Jev вырос с 13,51 до 24,19 балла. Долгие рассуждения можно вынести между запусками, а в рабочем цикле оставить быстрый выбор действия.
Команда Peking University и Samsung Research назвала метод TORSI. GPT-6.1-sol выступает моделью-учителем: изучает записи неудачных запусков, проверяет другие действия из сохранённых состояний в остановленной или замедленной игре и формулирует повторно используемые правила. Jev применяет их в работающей игре самостоятельно, без вызовов учителя.
Новая версия правил заменяет предыдущую, только если лучше справляется с отдельными проверочными задачами. За два цикла результат вырос в каждом типе игры. Простого переписывания инструкций оказалось недостаточно: основной прирост появился, когда учитель проверял альтернативы, а исполнитель затем испытывал черновые правила со своей реальной задержкой.
Метод проверяли на RealtimeBench: 180 задачах из шести игр с остановленным, обычным и ускоренным ходом времени. Агенты получали структурированное описание состояния и список допустимых действий, а не изображение. В остановленной игре GPT-6.1-sol опережал Jev в большинстве случаев, но при непрерывном ходе уступал: пока модель рассуждала, состояние успевало измениться.
Работа охватывает только два цикла улучшения, причём правила готовили отдельно для каждого типа игры. Перенос на другие модели проверяли в тех же средах, а не в новых. TORSI также требует сохранять состояния или перезапускать среду, поэтому схема ближе к симуляторам и управляемым цифровым процессам, чем к необратимым физическим действиям.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
