Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Информацию внутри языковой модели теперь можно не только прочитать, но и заменить в выбранном слое, а затем проверить, изменился ли ответ. Nika Zahedi, Fangyi Zhu и Anna Wu представили MicroLens; в нерецензированном препринте, где все числа получили сами авторы, подмена промежуточного факта направляла модель к новому ответу в 92–98% случаев. Инструмент помогает отличить информацию, которая просто видна во внутреннем состоянии, от информации, на которой модель действительно строит результат.
Две линзы показывают разные роли одного вектора
MicroLens показывает работу модели как сетку: по горизонтали идут токены, по вертикали — слои. В каждой ячейке лежит вектор остаточного потока (residual stream), через который блоки передают накопленную информацию следующим слоям.
Логитная линза применяет к промежуточному вектору выходное преобразование модели. Она отвечает на вопрос, какое слово этот вектор поддержал бы, если бы его нужно было превратить в ответ прямо сейчас.
J-lens использует усреднённую матрицу производных, которая описывает, как изменение в выбранном слое проходит через оставшуюся часть модели. Поэтому она ищет не только сходство со словом на выходе, но и направление, которое последующие слои обычно превращают в это слово.
Различие определяет способ редактирования. Направление логитной линзы лучше подходит, когда нужно заставить текущую позицию выдать заданное слово. Направление J-lens лучше меняет факт, который прочитают следующие токены: например, заменяет страну и позволяет модели самой вычислить новую столицу.
Для каждой ячейки MicroLens также показывает, какие предыдущие токены внесли в неё вклад. Инструмент учитывает не только вес внимания, но и размер добавленного вектора: высокий вес внимания сам по себе ещё не означает сильного влияния.
После правки MicroLens повторно запускает верхние слои и отмечает изменившиеся ячейки. Доступны добавление направления слова, замена одного слова другим, перенос состояния из контрольного запроса и добавление разницы между двумя запросами. Так наблюдение на тепловой карте превращается в проверяемую гипотезу.
Читаемое слово не обязательно влияет на ответ
На вопросах вида «столица штата, в котором находится Dallas» J-lens рано обнаруживала Texas в ячейке токена Dallas. Если там заменить Texas на California, модель начинала отвечать Sacramento вместо Austin. Значит, промежуточный штат не просто присутствовал во внутреннем состоянии: модель использовала его для следующего шага.
Позже Texas становился виден и в позиции ответа, но аналогичная правка почти не меняла результат. К этому моменту модель уже передала нужную информацию следующим токенам. Авторы называют такую границу передачей: после неё редактировать исходную ячейку поздно, даже если линза всё ещё уверенно читает в ней прежний факт.
В запросах с пошаговым рассуждением правильный ответ был виден до первого написанного шага в 89–92% простых вопросов на извлечение факта. Для многошаговых и последовательных задач диапазон составил 39–63%, тогда как правдоподобный неправильный ответ появлялся не более чем в 5% случаев.
Задачи на упорядочивание дали другую картину: модель находила ответ лишь ближе к последним написанным шагам. Если ответ уже присутствовал до рассуждения, J-lens обычно замечала его на один-два слоя раньше логитной линзы.
Этот опыт не доказывает, что заранее видимый ответ управляет написанным рассуждением. В этой части работы внутреннее состояние читали, но не редактировали. Поэтому результат показывает момент появления ответа, а не причинную связь между ним и последующим текстом.
Что менять в планах разработки
MicroLens полезен как исследовательский отладчик для команд, которые анализируют ошибки LLM, проверяют направляющие векторы или ищут слой для точечного вмешательства. Обычной тепловой карты для этого недостаточно: одинаково читаемое слово может быть рабочим промежуточным фактом или следом вычисления, который уже ни на что не влияет.
Если команда планирует управлять моделью через внутренние состояния, работа предлагает два практических правила. Направление нужно выбирать по цели правки, а слой — до момента передачи информации другим токенам. Универсальное «направление слова» без такого различия может хорошо менять непосредственный вывод и плохо менять дальнейшее вычисление, либо наоборот.
Сам просмотрщик выпущен как локальный пакет на Python и работает с несколькими семействами декодирующих моделей. На ноутбуке один запрос к Gemma-3-4B-it занимал 1–4 секунды, повторный прогон после правки — около 4–6 секунд. Это позволяет использовать MicroLens для ручного исследования и подготовки серий экспериментов, но не делает его механизмом контроля производственного вывода.
Основные эксперименты провели только на Gemma-3-4B-it, на правильно решённых заданиях, где ответ и редактируемые сущности состояли из одного токена. Для каждого типа задачи использовали один формат запроса и от нескольких десятков до сотни примеров. Поддержка других архитектур в инструменте не означает, что найденные закономерности уже подтверждены на них.
Есть и методическая граница: J-lens усредняет поведение слова по разным контекстам. Она хорошо видела имена стран, но хуже работала со словами, у которых несколько значений. Трассировка также учитывает перенос через внимание, но не полностью описывает преобразования внутри многослойных блоков, поэтому указывает место для эксперимента, а не заменяет причинную правку.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
