Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Большой набор проверяемых задач может почти не обучать модель, если она на каждой задаче выдаёт только успешные или только неуспешные попытки. Работа команды University of Washington, Carnegie Mellon University, NVIDIA и Stanford University, которая ещё не прошла рецензирование, опирается на замеры самих авторов: 88% открытого математического корпуса попали в такую ловушку. Значит, при планировании RLVR важнее подбирать задачи под конкретную модель и лимит ответа, чем просто наращивать корпус.
Почему задача перестаёт давать обучающий сигнал
При обучении с подкреплением по проверяемой награде (RLVR) модель несколько раз решает одну задачу, а автоматическая проверка присваивает каждому ответу нулевую или единичную награду. Затем алгоритм сравнивает награду отдельной попытки со средним результатом группы: это сравнение показывает, какие ответы стоит поощрять.
Если все попытки верны, их преимущество относительно группы равно нулю. То же происходит, когда модель не решила задачу ни разу. В обоих случаях ответы не отличаются по награде, поэтому задача не даёт сигнала для группового обновления — это и есть ловушка нулевого преимущества.
В проверенном корпусе было около 78 тысяч математических задач. При лимите ответа в 32 тысячи токенов лишь небольшая часть давала смешанный результат: некоторые попытки заканчивались правильным ответом, а некоторые — ошибкой. Именно такие задачи позволяют алгоритму сопоставить удачные и неудачные траектории рассуждения.
Сложность при этом нельзя закрепить за самой задачей. Другая модель может решить её во всех попытках, а увеличение лимита даст достаточно места для полного вывода. Поэтому полезность обучающего примера определяет тройка: задача, текущая политика модели и доступная длина ответа.
Как MagicBeanStalk выращивает задачи из трудных примеров
Обычная фильтрация оставляет задачи со смешанными результатами, но выбрасывает самые трудные. Авторы предлагают использовать их иначе: проверенное решение трудной задачи служит описанием операций, которым модель ещё не научилась. Это может быть сочетание нескольких преобразований, промежуточное доказательство или порядок применения математических приёмов.
MagicBeanStalk сначала разбирает решение сверху вниз. Модель-учитель выделяет необходимые навыки и составляет более простые подзадачи, которые вместе ведут к исходному ответу. Каждую подзадачу проверяют, а затем выясняют, помогает ли её решение модели справиться с родительской задачей.
После этого процесс идёт снизу вверх. Система создаёт новые варианты листовых подзадач и рекурсивно объединяет их в самостоятельные задачи, сохраняя структуру рассуждения исходного примера. Простая замена чисел или сюжета не подходит: новый пример должен требовать тех же операций, но не копировать исходную формулировку.
Готовые задачи снова прогоняют через целевую модель. Остаются те, где встречаются и правильные, и неправильные ответы, причём хотя бы одно верное решение полностью помещается в заданный лимит. Из трудных исходных задач MagicBeanStalk получил пригодных потомков для 74,7% примеров, тогда как прямой запрос к модели-учителю с просьбой придумать вариацию сработал для 43,8%.
Что работа меняет в планах команд
Для gpt-oss-120b обучение на данных MagicBeanStalk прибавило 8,6 пункта на математических бенчмарках, а для DeepSeek v4 Flash — 5,4 пункта. Полный исходный корпус дал прибавку лишь 1,1 пункта, а его лучший отфильтрованный фрагмент — 5,8 пункта. Все эти сравнения проводили при лимите в 16 тысяч токенов.
Практический вывод касается конвейера подготовки данных. Перед крупным запуском обучения стоит прогнать задачи через ту модель, которую предстоит улучшать, с тем же лимитом ответа и тем же способом проверки. Размер корпуса без такого профилирования плохо показывает, сколько в нём полезного сигнала.
Полностью проваленные задачи не следует автоматически удалять. Если для них есть проверенное решение, они описывают границу возможностей модели и могут стать основой для синтеза более доступных примеров. После смены модели или лимита эту калибровку придётся повторить: прежний набор может стать слишком лёгким либо снова оказаться недоступным.
Границы эксперимента заданы достаточно конкретно. Математическую часть проверяли на gpt-oss-120b и DeepSeek v4 Flash с набором олимпиадных и конкурсных бенчмарков. Отдельный опыт с Qwen3-4B-Instruct охватывал вопросы по кредитным соглашениям и тесты SecQue и FinanceBench, поэтому работа показывает перенос подхода в финансы, но не во все области с проверяемыми ответами.
MagicBeanStalk не заменяет проверку синтетических данных: модели участвовали в создании, решении и оценке задач. Метод скорее задаёт полезную схему отбора — синтезировать не «больше похожих примеров», а задачи с нужной структурой рассуждения и измеримой сложностью для конкретной политики.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
