Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Ошибки клинической классификации научились исправлять во время ответа модели, не переобучая её и не собирая примеры вокруг заранее известного ложного признака. В препринте George Mason University, который не прошёл рецензирование и содержит замеры самих авторов, метод исправил 17,7% ошибок и испортил 1,3% правильных ответов. Подход добавляет вычисления при каждом запросе, зато позволяет работать с неизвестными причинами ошибки.
Как траектория по слоям показывает безопасное направление
Ложным признаком здесь называют деталь, которая не относится к медицинскому вопросу, но влияет на ответ модели. Например, диагноз может измениться после замены одного указания на пол пациента, хотя симптомы, лекарства и другие клинические сведения остались прежними.
Trajectory-Guided Steering, или TGS, рассматривает решение LLM не как единственный результат последнего слоя. Метод читает на каждом слое скрытое состояние в конце входного текста и через собственную выходную матрицу модели получает оценки для допустимых ответов, например Yes и No. Разница этих оценок показывает, какой вариант модель предпочитает и насколько уверенно.
Последовательность предпочтений образует траекторию предсказания. TGS выбирает раннюю точку, где модель впервые заметно определилась с ответом, а затем сравнивает её с последним слоем. Точка выбирается отдельно для каждого документа по первому существенному падению неопределённости, поэтому один заранее назначенный слой не нужен.
Авторы выделяют три формы траектории. Если ранний и поздний слои согласны, а уверенность растёт, метод усиливает выбранное направление. Если слои согласны, но уверенность почти не растёт, предпочтение можно ослабить или развернуть. Когда ранний и поздний слои расходятся, TGS оставляет ответ без изменений: у траектории нет устойчивого направления для безопасной поправки.
Работа проходит в два этапа. Сначала модель выполняет дополнительный прямой проход без генерации и строит траекторию. Затем при обычной генерации TGS меняет только оценки токенов допустимых ответов: прибавляет поправку одному и вычитает её у другого. Остальной словарь и параметры модели не меняются.
Точечный выбор защищает уже правильные ответы
На основном наборе i2b2 модель классифицировала выписки по шестнадцати заболеваниям. Каждый документ подавали в вариантах с мужским и женским обозначением пациента, не меняя клинические данные. Так проверяли не только правильность ответа, но и зависимость от детали, которая не должна влиять на диагноз.
На гипертонии замена пола пациента меняла исходный ответ в 53,5% случаев. После TGS доля таких расхождений снизилась до 38,0%. Поправки тем самым не просто случайно переключали классы, а уменьшали зависимость от проверяемого ложного признака.
Ключевой результат даёт именно маршрутизация по документам. Если применять поправку ко всем примерам, доля испорченных правильных положительных ответов вырастает с 0,1% до 6,4%. Постоянный сдвиг оценок для всех документов тоже дал отрицательный итог при каждой проверенной силе воздействия.
Изменение системной инструкции, просьба рассуждать по шагам и методы управления внутренними состояниями оказались около нулевого результата или исправляли меньше ответов, чем портили. Последним также требовались контрфактические пары: почти одинаковые тексты, в которых меняется только предполагаемый ложный признак. TGS получает управляющий сигнал из самого текущего документа.
Когда подход меняет планы разработки
TGS подходит для классификации и вопросов с фиксированным набором вариантов. Для свободной генерации, где заранее неизвестны токены конкурирующих ответов, описанное правило неприменимо. Оно также требует доступа к скрытым состояниям слоёв и выходной матрице, поэтому API, который возвращает только готовый текст, для реализации недостаточно.
Метод не требует обучения, но не работает без настройки. Силу поправки и порог роста уверенности подбирают перебором для сочетания модели и набора данных. Кроме того, каждый документ получает дополнительный прямой проход, что увеличивает задержку и вычислительную стоимость даже тогда, когда итоговый ответ решено не менять.
Проверка охватывает три семейства LLM примерно одного масштаба и четыре клинических или биомедицинских набора на английском языке. Основные эксперименты выполнены на LLaMA 3.1 8B Instruct, дополнительные — на Mistral 7B Instruct v0.3 и Qwen3 8B. Среди задач были двоичная классификация, вопросно-ответная проверка публикаций и классификация употребления веществ; для последней ложным сигналом служила уже не демография, а связанная терминология.
Для команды с собственной моделью и узкой классификационной задачей работа добавляет практичный вариант между переобучением и общей правкой инструкции. Его стоит рассматривать, когда заранее неизвестно, какая деталь сбивает модель, а цена повреждения правильного ответа высока. Перенос на крупные модели, другие языки и немедицинские области эта работа не проверяет, поэтому перед использованием в клиническом процессе потребуется отдельная валидация на целевом потоке.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
