Почему правки врачей нельзя напрямую использовать для обучения LLM

Обучение медицинской LLM на всех правках врачей может усилить выдуманные факты вместо того, чтобы исправить модель. Команда Carnegie Mellon University, Abridge AI и Johns Hopkins University показала, хотя препринт не рецензирован и все числа получили сами авторы, что более 45% отредактированных документов содержат добавленные сведения без опоры на доступный модели контекст. Поэтому журнал правок стоит считать сырыми данными, а не готовой обучающей выборкой.

Как отделяли исправление модели от нового знания врача

Врач может изменить черновик по разным причинам. Он исправляет ошибку, возвращает пропущенный диагноз, сокращает текст, меняет степень уверенности или перестраивает документ под привычный формат. Но он также может добавить результат анализа, содержание разговора с пациентом или собственное наблюдение, которых не было во входных данных модели.

Во втором случае правка может быть медицински верной, но модель не способна вывести её из предоставленных документов. Если использовать такой текст как правильный ответ, обучение закрепит опасный шаблон: добавлять правдоподобные клинические сведения без доказательств.

Авторы сначала разделяют разницу между черновиком и финальным документом на минимальные изменения с одной причиной. Затем каждое изменение описывают по трём признакам: затрагивает ли оно клиническое содержание, подтверждается ли входными документами и отражает ли общее требование или личное предпочтение врача.

Так, добавление пропущенного лекарства считается полезным сигналом, если оно упомянуто в истории пациента. Та же правка становится непригодной для общего обучения, если сведения о лекарстве появились только у врача. Замена абзацев списком может быть допустимой, но чаще учит локальному стилю, а не улучшает медицинскую точность.

Таксономию составили после анализа обезличенных материалов продукта для медицинской документации: корпус охватывал 30 тысяч приёмов и более 50 специальностей. Эти данные использовали для изучения поведения врачей, но не для основного эксперимента по обучению.

Фильтр откатывает вредные изменения перед обучением

Для эксперимента создали MIMIC-III-Ext-BHC-Edit — полусинтетический набор выписных эпикризов на основе MIMIC-III. В него вошла 5 821 госпитализация. Черновики генерировали Gemma-3-4B-IT, Qwen-2.5-7B-Instruct и Llama-3.1-8B-Instruct, а правки моделировали с опорой на реальные тексты врачей из набора.

Обработка работает как обратимое редактирование. Система находит отдельные изменения, присваивает им категории и возвращает исходный фрагмент там, где добавленный факт не подтверждается входом. Более строгий вариант также откатывает личные предпочтения: порядок разделов, сокращения и другие особенности конкретного автора.

После этого модель дообучают не на финальном документе целиком, а на его очищенной версии. Такой подход важен именно из-за смешанной природы обратной связи: один документ может одновременно содержать исправленную ошибку, полезное дополнение из истории болезни и новый факт, который был известен только врачу.

Дообучение на необработанных правках приблизило ответы к врачебным эталонам, но увеличило объём содержания без опоры на входные документы. Фильтрация неподтверждённых изменений сохранила значительную часть улучшений по совпадению клинических утверждений и при этом в основном сохранила фактологическую опору.

Проверка охватывала один вид документа — краткое описание пребывания пациента в стационаре. Правки были полусинтетическими, основной конвейер моделирования и разметки работал на GPT-5.5, а клиническое качество в основном оценивали автоматическими метриками по эталонному тексту. Отдельная проверка с Opus 4.8 дала сходный основной вывод, но не превращает эксперимент в подтверждение на реальном потоке правок.

Что меняется в планах продуктовой команды

Работа меняет архитектуру контура обучения после запуска. Хранить пару «ответ модели — финальная версия пользователя» недостаточно. Вместе с ней нужен снимок всех данных, которые модель видела при генерации: без него невозможно отличить исправление от знания, появившегося позже.

Единицей обработки должна стать отдельная правка, а не весь документ. Если пользователь добавил пять фрагментов, система должна независимо решить, какие из них подтверждаются входом, какие исправляют поведение модели, а какие отражают личный стиль. Иначе один неподтверждённый факт загрязнит полезный пример целиком.

Фильтр также стоит отделить от самого дообучения. Тогда команда сможет проверять его на экспертной разметке, менять правила отбора и повторно собирать выборку без нового извлечения журналов. Для медицинских систем особенно важно сохранять исходную правку, категорию и решение фильтра, чтобы восстановить происхождение обучающего примера.

Схема применима и за пределами медицины, если специалисты редактируют тексты на основе сведений, недоступных модели. Юрист может учитывать телефонный разговор, сотрудник поддержки — данные из внутренней системы, аналитик — свежий отчёт. Во всех этих случаях финальный текст показывает желаемый результат, но не всегда показывает задачу, которую модель действительно могла решить.

Внедрять автоматическое обучение на пользовательских правках по этой работе рано: эксперимент не проверяет непрерывное обновление действующего продукта. Но она задаёт практический минимальный контур — сохранять входной контекст, дробить изменения, отбрасывать неподтверждённые факты и отдельно решать, нужны ли модели личные предпочтения конкретного пользователя.

Источники

• Actionable Feedback: Improving Model Capabilities from User Edit Data on Clinical Documentation