Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Редактирование LLM по свободному тексту удалось сделать менее зависимым от исходного пассажа: модель лучше вспоминает отдельные факты без подсказки соседними предложениями. Хотя препринт не рецензирован и числа в нём получили сами авторы, Ding Wu, Ye Zhang, Haoyu Wang и Tianci Liu сообщают, что FOVEATED стабильно улучшил результаты пяти редакторов на двух базовых LLM и трёх тестах. Для продуктовой команды это повод проверять не пересказ добавленного текста, а каждый внесённый факт отдельно.
Почему пассаж скрывает трудные факты
Параметры LLM не обновляются, когда после предварительного обучения меняются сведения о компаниях, продуктах или событиях. Полное повторное обучение стоит дорого, поэтому модель можно отредактировать точечно: добавить выбранные сведения и постараться не затронуть остальные знания и общие способности.
Классические редакторы обычно получают структурированный факт: сущность, отношение и новое значение. Редактирование по неструктурированным данным принимает обычный пассаж, в котором может находиться сразу несколько связанных фактов. Такой ввод проще готовить, но он создаёт скрытую зависимость от контекста.
Модель после редактирования способна воспроизвести пассаж целиком, однако отдельный факт из него вспоминает ненадёжно. Например, правильный ответ появляется, пока запрос или продолжение содержит соседние предложения, но пропадает, когда факт нужно извлечь самостоятельно.
Причина связана с тем, как стандартная цель обучения оценивает предложения внутри пассажа. Поздний факт получает больше правильного предшествующего контекста, поэтому его начальная ошибка оказывается ниже. Редактор считает такой факт лёгким и слабее меняет модель, хотя без исходного контекста она его ещё не усвоила.
Как FOVEATED временно ослабляет контекст
FOVEATED строит для каждого предложения отдельное сфокусированное представление. Во время редактирования система случайно сдвигает позиционные метки RoPE у ключей механизма внимания, которые относятся к предыдущему контексту. RoPE сообщает модели порядок и относительное положение токенов, поэтому сдвиг мешает полагаться на неизменную структуру предшествующего текста.
Само предложение при этом остаётся целью редактирования. Меняется не содержание пассажа, а то, насколько надёжной подсказкой служат расположенные перед ним фразы. Так редактор получает более заметную ошибку для факта, который казался простым только благодаря правильному контексту, и уделяет ему больше внимания.
Возмущение действует лишь во время внесения знаний. После редактирования его убирают, а при ответах модель использует своё штатное позиционное кодирование. Подход поэтому не требует менять обработку пользовательских запросов или постоянно вмешиваться в механизм внимания.
FOVEATED применили к редакторам двух типов: тем, которые напрямую оптимизируют модель, и тем, которые сначала находят связанные с фактом параметры, а затем меняют их. Во всех проверенных сочетаниях результат улучшился, но абстракт не раскрывает величину выигрыша.
Проверка охватывает несколько редакторов, базовых моделей и тестов; поскольку материал подготовлен по абстракту, а не по полному тексту, точную процедуру экспериментов, названия тестов и используемые показатели восстановить нельзя. Поэтому работа показывает повторяемость эффекта в заявленных условиях, но не позволяет оценить его практический размер.
Когда подход меняет план разработки
Работа относится к системам, которые записывают новые знания в параметры LLM из свободного текста и затем ожидают ответ без исходного пассажа. Если продукт всегда передаёт этот пассаж модели вместе с запросом, описанный сбой менее критичен: контекст, на который опирается модель, остаётся доступен.
Первое изменение для команды касается приёмочных тестов. Недостаточно попросить модель пересказать материал после редактирования. Каждый факт нужно запрашивать отдельно, без соседних предложений, иначе тест измерит способность использовать контекст, а не сохранённое знание.
Второе изменение касается диагностики обучения. Полезно сравнивать начальную ошибку для предложений в разных частях пассажа. Если поздние предложения систематически выглядят проще, это может отражать доступный правильный контекст, а не более надёжное усвоение.
FOVEATED выглядит как кандидат для пилота, поскольку вмешивается только в этап редактирования и сочетается с разными классами редакторов. Но абстракт не даёт размера эффекта и не позволяет сопоставить выигрыш с вычислительными затратами. Менять производственный стек только по этой работе рано; разумный следующий шаг — повторить проверку на собственных пассажах и измерить долю фактов, которые модель извлекает без исходного текста.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
