Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
У LLM значительная доля фактических ошибок возникает не из-за отсутствия знания, а из-за неверного начала ответа. Хотя работа не рецензирована и числа получили сами авторы, правильный первый токен исправил от пятой части до половины ошибок на английских вопросах с ответами длиннее одного токена. Для систем без поиска по внешним источникам это указывает, где стоит тратить дополнительные вычисления: на первом шаге генерации.
Команда Seoul National University разработала First-Token Cueing: к запросу добавляли первый токен правильного ответа — первый фрагмент текста по разбиению конкретной модели — и позволяли модели продолжить фразу самостоятельно. Это диагностический тест, а не готовый способ исправлять ответы: нужный токен брали из эталона.
Неопределённость модели достигала максимума именно при выборе начала. Если правильный токен находился среди ближайших вариантов, но модель выбирала другой, подсказка часто возвращала её к верному ответу. Большинство исправленных ошибок модель также решала хотя бы в одном из собственных вариантов рассуждения, то есть знание уже было доступно, но не попадало в обычный ответ.
Эффект зависел от содержания подсказки. Случайный или правдоподобный, но неверный токен снижал точность, а нейтральное начало ответа её не меняло. Значит, результат нельзя объяснить тем, что любая заранее заданная фраза помогает модели собраться.
Проверка охватила 16 открытых моделей семейств Gemma 3, Llama 3.1/3.2 и Qwen 2.5 размером от 270 миллионов до 72 миллиардов параметров. Использовали TriviaQA, NQ-Open и WebQuestions, а также MKQA на семи языках; во всех языках точность выросла. Ответы проверяла модель-оценщик, а отдельная ручная проверка совпала с ней в 93% случаев; более строгие метрики дали тот же порядок результатов.
Практический вывод ограничен устройством эксперимента: система ещё должна найти правильное начало без эталона. Но при высокой неопределённости на первом шаге имеет смысл именно там расширять поиск вариантов, запускать дополнительные выборки или подключать внешний источник, а не одинаково увеличивать вычисления для всего ответа.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
