Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Скрытая текущая дата в системной инструкции меняет результаты LLM и переставляет модели в рейтингах. В препринте Mario Sanz-Guerrero и соавторов, который не рецензирован, а числа в нём получили сами авторы, разрыв на математических задачах достиг 14 процентных пунктов. Значит, сравнение моделей в разные дни может измерять не только качество модели, но и влияние служебных данных.
Исследователи оставляли запросы и настройки неизменными, отключали случайный выбор ответа и меняли только дату в системной инструкции. Они перебрали даты за 2024 год и проверили девять моделей на шести наборах данных: в тестах с выбором ответа, математике, генерации кода и машинном переводе. Отдельно GPT-5.1 запускали через API в течение недели с датой, которую сервис добавлял на своей стороне.
В тестах с выбором ответа точность менялась на 6 процентных пунктов, а порядок лидеров зависел от дня запуска. Для кода доля задач, решённых с первой попытки, сдвигалась на 7 пунктов, хотя программы проверяли обычными модульными тестами. В переводе разница достигла 2,84 балла по метрике BLEU.
Цепочка рассуждений не сгладила эффект, а усилила его: дата влияла на первые токены, после чего модели шли по другим путям рассуждения. Пять примеров в запросе тоже не помогли. В отдельном сравнении дата влияла сильнее, чем размер пакета, числовая точность и модель GPU, и примерно так же, как перестановка вариантов ответа.
Проверка охватывает фиксированный формат и положение даты, один календарный год и четыре типа задач; для закрытой модели период короче. Для воспроизводимой оценки дату стоит убрать из шаблона, а если это невозможно — зафиксировать и указывать вместе с результатами. Иначе небольшое преимущество в собственном тесте или рейтинге может исчезнуть при повторном запуске.
Источники
Иллюстрация: рисунок из статьи «Dating the Model: Hidden Dates in System Prompts Affect LLM Evaluation», Mario Sanz-Guerrero, Minh Duc Bui, Manuel Mager и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.
