Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
В длинной цепочке шагов LLM теряет разные части задачи независимо: она может правильно обработать новую запись, но сбить счётчик или ошибиться при поиске повтора. В работе Baracoda AI Labs и NEOMA Business School счётчик сломался во всех 20 запусках после добавления постороннего текста, хотя препринт не рецензирован и числа получил сам автор. Значимое состояние процесса (workflow state) стоит хранить вне истории диалога и подставлять явно, а не считать весь контекст единой памятью.
Thomas Serval собрал журнал на 400 последовательных шагов. Qwen3-8B получала запись с кодом и числами, должна была обработать её, распознать уже встречавшийся код и увеличить счётчик. Каждый предыдущий ответ модели возвращался в историю, поэтому ошибка могла влиять на следующие ответы. Три части результата оценивали независимо, чтобы сбой счётчика не скрывал верную обработку текущей записи.
Без добавочного текста счётчик не ошибался, а обработка новой записи оставалась примерно стабильной. Поиск повторов ухудшался ближе к концу: риск ошибки на одном шаге вырос примерно в шесть раз. Модель пропускала коды из далёкого прошлого и всё чаще объявляла новые коды повторами.
Посторонний блок перед каждой записью изменил картину. Счётчик сбивался в каждом запуске, хотя ошибки в обработке текущих данных заметно не выросли. Если однажды подменить значение счётчика в истории, модель продолжала переносить ошибку. Точное значение от внешнего источника, добавленное перед каждым сообщением, возвращало счётчик на правильную траекторию за один-два шага и предотвращало новые сбои в проверенных запусках. Однократного напоминания для надёжного исправления оказалось недостаточно.
Работу проверяли на синтетическом журнале на французском языке, на квантованной Qwen3-8B без режима рассуждений и со строго детерминированной генерацией; основной результат повторили на другой машине и программной среде. Поэтому эксперимент не доказывает такое поведение для любых агентов. Он показывает требование к проверке: память, текущие вычисления и переносимое состояние нужно тестировать отдельно, а критичное состояние сверять с доверенным внешним хранилищем.
Источники
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
