Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Эскалацию ответа со слабой модели на сильную можно настраивать без разметки правильных решений: достаточно оценить, принесёт ли обращение к сильной модели полезное исправление. В нерецензированном препринте University of Pennsylvania, где все числа получены самими авторами, такой сигнал обошёл другие методы без разметки на всех пяти проверенных задачах. Это позволяет строить каскады для открытых и многошаговых сценариев, где правильность отдельного действия трудно определить заранее.
Метод сравнивает два вида расхождения. Сначала он оценивает, насколько ответы слабой и сильной моделей отличаются друг от друга. Затем вычитает внутреннюю неопределённость сильной модели: если она сама выдаёт разные ответы на один запрос, её несогласие со слабой моделью хуже предсказывает полезность эскалации.
Оценку можно обучить на ответах самих моделей, без эталонных меток. При работе каскада слабая модель готовит ответ, маршрутизатор вычисляет оценку и обращается к сильной модели, только если она превышает заданный порог. Порог ограничивает долю дорогих запросов; несколько ответов слабой модели также можно учитывать, но метод работает и с одним.
Проверка охватила многошаговые среды WebShop и BFCL, а также Math-500, Spider и AceCode. На однократных задачах исправленное расхождение превзошло не только методы без разметки, но и модель, которую обучали предсказывать правильность. При восьми ответах слабой модели обычная проверка согласованности приблизилась к нему на Math-500, однако уступила на SQL и программном коде, где разные по форме ответы могут работать одинаково.
Результат зависит от качества старшей модели. В WebShop поправка на её внутреннюю неопределённость дала статистически значимый выигрыш, а в BFCL разница с простым расхождением осталась в пределах погрешности. Поэтому подход подходит не для выбора «самой уверенной» модели, а для оценки ожидаемой пользы перехода к конкретной сильной модели.
Источники
Иллюстрация: рисунок из статьи «Disagreement-Guided Weak-to-Strong Routing», Sima Noorani, Shayan Kiyani, George Pappas и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
