Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Дешёвая модель-проверяющий может дообучить LLM по сложным рубрикам почти так же хорошо, как дорогая. В работе ETH Zurich и Handshake AI, которая не прошла рецензирование и содержит замеры самих авторов, расходы на оценку ответов сократились до 99,7%, а модель сохранила большую часть улучшения. Бюджет на разметку наград теперь разумнее считать по результатам пробного запуска, а не по цене ведущей модели.
При дообучении модель генерировала ответ, а проверяющий отмечал, выполнены ли отдельные критерии рубрики: правильность, полезность и требования к стилю. Из этих отметок собирали награду, по которой обновляли Qwen3. Затем качество проверяющего сравнивали с оценками Claude Opus 4.6, Gemini 3.1 Pro и GPT-5.5, а обученную модель тестировали отдельно.
Более точное совпадение с эталонными оценщиками не гарантировало лучший итог после обучения. Доступные Gemma 4 26B и Gemma 4 31B вошли в число сильных вариантов, тогда как некоторые проверяющие с приемлемым совпадением оценок ухудшали результат. Значит, точность проверки на заранее собранных ответах помогает отсеять слабые модели, но не выстраивает остальных в надёжный рейтинг.
Авторы задним числом выбрали две стратегии. Сбалансированный вариант с Gemma 4 26B сократил расходы на проверку на 98,8% и сохранил 95% улучшения относительно модели без дообучения. Самый дешёвый подход сэкономил 99,7% и сохранил 82%, но в одном режиме HealthBench уступил лучшему проверяющему на 6,2 пункта. Поэтому дешёвые проверяющие подходят для отбора кандидатов, но не становятся взаимозаменяемыми.
Проверки охватили Qwen3 размером до 8B, задачи HealthBench и PRBench из медицины, юриспруденции и финансов, а также одну конфигурацию обучения с подкреплением. Выбор проверяющих опирался на уже завершённые запуски. Экономия относится только к стоимости работы оценщика по записанным тарифам и режимам пакетной обработки, а не ко всему вычислительному бюджету дообучения.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
