Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
OS-Helix научился в рамках одной задачи кликать по графическому интерфейсу, запускать Python или Bash и переключаться между этими способами работы. Хотя препринт Bowen Yang и соавторов не рецензирован и числа получили сами авторы, OS-Helix-27B-RL довёл долю задач с подтверждённым конечным состоянием до 66,44%. Для команд, которые обучают собственных компьютерных агентов, доступ к оболочке теперь стоит рассматривать не как дополнительный инструмент, а как часть обучающих данных и пространства действий.
Почему подключённая оболочка ухудшила исходную модель
Графический интерфейс и код решают разные части настольной задачи. Через GUI агент видит расположение элементов и состояние приложения, а через код быстрее читает файлы, преобразует данные и проверяет состояние системы.
Простое объединение инструментов не научило модель выбирать между ними. Qwen3-VL-32B-Instruct выполнял около 34% заданий OSWorld-Verified, когда работал только через GUI. После прямого подключения кода результат снизился примерно до 32%: модель получила новое действие, но не освоила момент перехода к нему.
В OS-Helix клики, ввод с клавиатуры, завершение задачи и запуск кода входят в одно пространство действий. После каждого шага модель снова видит снимок экрана и историю работы. Python и Bash запускаются в отдельном процессе, а стандартный вывод и сообщения об ошибках возвращаются модели для следующего решения.
Обучающие среды собирают из приложений фиксированных версий и совместимых с ними файлов. Например, один файл презентации можно открыть в нескольких редакторах и получить разные исполняемые состояния. Инфраструктура охватывает 45 настольных приложений на Ubuntu.
Отдельный агент кратко исследует созданную среду и предлагает задание, связанное с содержимым файла и доступными функциями приложения. Память о ранее использованных функциях помогает не создавать одни и те же задания. Другой агент строит проверку конечного состояния: читает файлы и системные параметры по правилам, а визуальную проверку применяет там, где состояние нельзя надёжно извлечь программно.
Инструкция не предписывает способ решения. Одну задачу можно выполнить кликами, кодом или их сочетанием, если итог проходит ту же проверку. После фильтрации этот процесс дал около 31 тыс. успешных примеров для контролируемой донастройки.
Как шаги уравновесили при обучении с подкреплением
После контролируемой донастройки модель продолжили обучать с подкреплением в работающих виртуальных машинах. Она выполняла задания, получала награду за проверяемый результат и обновляла стратегию на собственных траекториях.
Обычная оптимизация GSPO создала перекос. Клик записывается короткой командой, а блок кода занимает много токенов — частей текста, на которые модель делит ответ. Поэтому длинный код сильнее влиял на обновление параметров, доля программных действий росла, а качество снижалось.
Step-balanced GSPO считает вес не по отдельным токенам, а по шагам агента. Клик и запуск длинного сценария остаются разными действиями, но ни одно из них не получает преимущество только из-за длины записи. В сопоставимом эксперименте этот вариант обошёл обычный GSPO и ослабил дрейф к избыточному использованию кода.
Такой баланс нужен именно для неоднородного пространства действий. Если агент управляет только GUI или вызывает короткие API-команды одинакового формата, причина перекоса будет другой. Здесь метод исправляет конкретный конфликт между короткими командами интерфейса и длинными программными шагами.
Когда результат меняет план разработки
Контролируемая донастройка дала основную прибавку, а смешанные примеры с GUI и кодом сработали лучше, чем только действия в интерфейсе при том же объёме обучения. OS-Helix-27B и OS-Helix-35B-A3B превзошли сопоставимые гибридные версии Qwen3.5 на 35,0% и 33,7% относительно их результатов.
Проверка охватывает модели семейства OS-Helix, обученные в изолированных средах Ubuntu. Основной замер прошёл на OSWorld-Verified против соответствующих вариантов Qwen3.5, а перенос на Windows проверили отдельно в WindowsAgentArena. Там версия после обучения с подкреплением достигла 63,87% успеха.
Работа меняет план команд, которые собирались взять готовую GUI-модель и добавить к ней оболочку через подсказку или внешний маршрутизатор. Для собственного агента потребуется собирать траектории с осмысленными переходами между интерфейсом и кодом, проверять итог независимо от способа решения и следить, чтобы длинные действия не захватывали обучающий сигнал.
Примеры ошибок показывают, зачем сохранять общее состояние между способами работы. В одном задании программное преобразование потеряло чередующуюся заливку строк таблицы, а модель заметила расхождение на экране, но ошибочно добавила знаки валюты. В другом код сохранил файл без изменений, которые оставались несохранёнными в GUI, после чего агент отбросил правильную часть работы.
Для внедрения это поддерживает архитектуру с изолированным запуском кода, ограниченными правами на приложения, каталоги и сеть, журналом действий и подтверждением перед необратимыми операциями. Объединение GUI и оболочки расширяет набор задач агента, но одновременно увеличивает ущерб от неверного шага.
Источники
Иллюстрация: рисунок из статьи «OS-Helix: Unifying GUI Interaction and Code Execution in Native Computer-Using Agents», Bowen Yang, Kaiming Jin, Zichen Ding и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
