Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Сложный конвейер поиска по внутренним инструкциям удалось заменить пакетом текстовых правил, простых скриптов и структурированного справочника. В работе Airbnb простой вариант обошёл производственный RAG по достаточности доказательств на 23,5 процентного пункта; поскольку это нерецензированный препринт, числа получили сами авторы. Для зрелой базы знаний это повод сначала проверить переносимый навык, а уже затем вкладываться в переобучение моделей, переранжирование и собственную инфраструктуру.
Агент ищет маршрут, а цитирует первоисточник
Авторы называют решение переносимым навыком. Это пакет без собственных весов модели: инструкция в Markdown, конфигурация, небольшой набор скриптов и корпус документов. Пакет запускает универсальная агентная среда — в эксперименте использовали Claude Code с Claude Opus 4.7.
Инструкция задаёт последовательность действий и формат результата. Скрипты загружают обезличенное обращение, читают документы, проверяют структуру ответа и сохраняют его. Поэтому поведение меняют через текст и данные, а не через новое обучение модели.
Главное отличие от обычной генерации с поиском по базе знаний (RAG) — дополнительный навигационный слой примерно из 2700 Markdown-страниц. GPT-4.1 построила его по внутренним статьям поддержки. Каждая страница описывает, какую задачу решает процедура, ссылается на исходные документы и объединяет шаги, если они разбросаны по нескольким статьям.
Агент ищет по этому слою, сочетая поиск по словам BM25 и поиск по смысловой близости. Затем он открывает исходные статьи, составляет инструкцию специалисту поддержки и прикладывает дословные фрагменты. Навигационная страница помогает найти маршрут, но не считается источником истины.
Отдельный скрипт принимает цитату только тогда, когда она встречается в указанной статье. Проверка допускает нормализацию пробелов и знаков пунктуации, но не пересказ. Такая граница не позволяет модели подкрепить рекомендацию выдуманным фрагментом, хотя сама по себе не гарантирует, что агент нашёл все нужные сведения.
Разрыв между правильной инструкцией и достаточными доказательствами
Систему проверяли на 132 реальных обращениях из рабочего потока Airbnb. Для каждого обращения существовала инструкция, которую ранее одобрил специалист поддержки. Claude Opus 4.7 генерировала ответ, а GPT-4.1 сравнивала его с эталоном; итог определяли большинством нескольких независимых проверок.
По процедурной эквивалентности навык набрал 99,2%: модель почти всегда предлагала последовательность действий, которая решала обращение так же, как одобренный ответ. Более строгая проверка требовала восстановить эту процедуру только по приложенным дословным цитатам. Здесь результат составил 83,3%, тогда как производственный RAG на том же наборе получил 59,8%.
Разрыв в 16 процентных пунктов между правильностью процедуры и полнотой доказательств указывает не только на качество поиска. При разборе ошибок агент обычно находил относящиеся к случаю статьи, но нужный шаг не был записан в них дословно. Например, опытный специалист мог знать запасной маршрут или правило эскалации, которого не было в документации.
Это разделяет зоны инвестиций. Если процедура неверна, нужно менять инструкцию агента, входные данные или логику поиска. Если процедура верна, но её нельзя подтвердить цитатами, сначала стоит дописать базу знаний. Более сложный переранжировщик не восстановит правило, которого нет в корпусе.
Сравнение с производственным RAG остаётся сравнением двух полных решений, а не двух поисковиков в одинаковых условиях: они использовали разные циклы запросов и чтения документов. Эксперименты с отдельными частями навигационного слоя также дали различия в пределах погрешности. Работа показывает жизнеспособную конфигурацию, но не доказывает превосходство конкретного метода поиска.
Когда менять архитектурный план
Подход подходит процессам с развитой и аккуратно поддерживаемой базой знаний, формализованным результатом и обязательной проверкой человеком. В таком контуре можно начать с текстовой инструкции, навигационного индекса и программной проверки цитат. Собственный конвейер поиска стоит добавлять после измерения конкретных ошибок, а не считать обязательной стартовой точкой.
Цена упрощения — задержка. Навык обрабатывал обращение примерно за 90 секунд, а действующий производственный помощник — за 8–9 секунд. Основное время занимал многошаговый цикл агента, поэтому быстрый поиск сам по себе не решает проблему. Для подсказки специалисту такая пауза может быть приемлемой; для ответа клиенту в реальном времени — уже нет.
Обслуживание системы не исчезает, а перемещается из моделей и поисковой инфраструктуры в контент. После изменений корпуса нужно проверять ссылки, пересобирать навигационные страницы и исправлять слабые связи. Молодая, неполная или быстро меняющаяся база может потребовать больше редакторской работы, чем зрелый производственный RAG.
Главный практический результат — не новый алгоритм, а другой порядок разработки. Сначала команда отделяет поиск маршрута от доказательств, фиксирует формат результата кодом и измеряет правильность процедуры отдельно от полноты цитат. Если этот вариант не выдерживает требования по задержке, полноте или нагрузке, результаты пилота показывают, какой компонент действительно нужно усложнить.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
