Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Погодного ИИ-агента научили писать многодневные прогнозные отчёты, у которых нет единственного правильного текста. В работе UCSD модель Qwen3.8-27B после обучения через Zephyrus-R1 обошла GPT-5.6-Luna по средней итоговой оценке; поскольку препринт не рецензирован, все числа в нём получили сами авторы. Работа предлагает применимую схему для научных и аналитических отчётов, где хороший ответ нельзя проверить одним тестом.
Награда проверяет и качество текста, и пропущенные факты
Обычные текстовые метрики плохо подходят для прогноза погоды. Два отчёта могут описывать одно событие разными словами, а гладкий текст может пропустить главный риск или неверно объяснить его причину.
Zephyrus-R1 оценивает отчёт двумя способами. Фиксированная рубрика охватывает шесть свойств: соответствие эталону, точность места и времени, приоритет опасных явлений, метеорологическое объяснение, правдоподобие температуры и осадков, уместность деталей.
Вторая часть награды сопоставляет отдельные утверждения. Модель-оценщик сначала проверяет, какие фразы сгенерированного отчёта подтверждает или опровергает эталон National Weather Service. Затем проверка идёт в обратную сторону: какие факты из эталона попали в результат. Первая операция штрафует выдуманные сведения, вторая — пропущенные события.
Вес двух оценок меняется в ходе обучения, чтобы одна из них не подавила другую. Сама рубрика и инструкция для оценщика остаются неизменными: модель не получает движущуюся цель.
Отдельное правило не даёт агенту заработать награду убедительным текстом без анализа данных. Перед ответом он обязан успешно прочитать текущее состояние атмосферы и данные на будущем горизонте прогноза. Если нужных обращений к инструментам нет, оценка текста не учитывается.
Проверка оценщика людьми оказалась не формальностью. Три метеоролога разметили выборку из 100 утверждений как подтверждённые, опровергнутые или нейтральные. Решение большинства моделей совпало с решением большинства экспертов в 67% случаев; сами специалисты также расходились, чаще выбирая между нейтральным и подтверждённым ответом, а не полностью меняя смысл оценки.
Сначала агент учится добывать ответ, затем писать отчёт
Обучение с подкреплением разделили на два этапа. Сначала агент решает погодные задачи с машинной проверкой: вызывает нужный инструмент, извлекает поля атмосферы, считает региональные показатели и выдаёт ответ заданного формата. Затем ту же модель обучают составлять открытые отчёты с наградой за рубрику и фактическое покрытие.
Такой порядок снимает с итоговой награды лишнюю нагрузку. Если сразу оценивать весь отчёт одним баллом, модель должна одновременно освоить API, научиться исправлять неудачные вызовы, разобраться в метеорологических данных и подобрать форму текста. На первом этапе правильность вычисления показывает, какой именно навык сработал; на втором агент уже переносит его в неоднозначную задачу.
У Qwen3.5-4B средняя итоговая оценка выросла на 26% относительно базовой модели. Для Qwen3.8-27B прирост составил 13%; обученная модель опередила Kimi-K3 на 6,7%, а GPT-5.6-Luna — на 2,7%. Улучшения сохранились при проверке независимыми оценщиками Gemma и Mistral, хотя на оценщике, который выдавал награду при обучении, преимущество было заметнее.
Прямое обучение сразу на отчётах принесло основную часть прироста, но предварительные проверяемые задачи улучшили итог в обоих масштабах. Значит, учебная программа здесь не заменяет хорошую награду, а помогает агенту прийти к ней с уже освоенными инструментами.
Высокая средняя оценка не исключила локально опасной ошибки. В разобранном авторами отчёте агент назвал юго-восток США преимущественно сухим и стабильным, хотя эталон предупреждал там о дожде и угрозе сильной погоды. Один оценщик заметил противоречие в конкретной фразе, но пропустил его повтор в резюме.
Командам стоит менять устройство обучения, но не контур контроля
Работа меняет планы команд, которые обучают агентов готовить научные, финансовые или операционные сводки по эталонным документам. Практический шаблон состоит из четырёх частей: отдельно проверять работу с источниками, оценивать факты в обе стороны, фиксировать рубрику до обучения и предварительно учить агента на задачах с однозначной проверкой.
Такой подход полезнее единой оценки «хороший отчёт или плохой». Он позволяет различить три сбоя: агент не собрал доказательства, добавил неподтверждённое утверждение или пропустил важный факт. Для каждого сбоя можно задать отдельный сигнал, не пытаясь выразить всё одной субъективной оценкой.
Границы эксперимента не позволяют считать Zephyrus-R1 готовой системой оперативного прогнозирования. Модели проверяли на 197 исторических событиях для континентальной части США, сопоставляя данные ERA5 с отчётами National Weather Service. Агент получал будущие поля из «оракульного» источника, то есть без ошибок реальной численной модели прогноза; каждый вариант обучения запускали один раз, а эксперты размечали отдельные утверждения, не выбирая лучший полный отчёт.
Поэтому архитектурное решение можно переносить уже сейчас, а итоговые показатели — только после проверки в своём контуре. Для производственной системы остаются нужны экспертная оценка целых документов, повторные запуски обучения и испытание на тех данных и инструментах, которыми агент будет пользоваться после запуска.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
