Журнал · Rit.work

Ассистенты хуже замечают тревожные сигналы, растянутые по диалогу

Проверка шести AI-ассистентов показала: тесты с явной проблемой в одном сообщении переоценивают качество защиты в длинных разговорах.

Rit.work
Студия разработки
20 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Одинаковые признаки неблагополучия реже вызывают подходящую реакцию AI-ассистента, если пользователь раскрывает их постепенно. В нерецензированном препринте, где все числа получили сами авторы, у четырёх из шести моделей доля ответов по стандарту поддержки упала с 26–59% до 3–6%. Значит, тесты с явной проблемой в одном сообщении могут переоценивать защиту продукта в длинных разговорах.

Команда Oxford Internet Institute вместе со специалистами по поддержке психического здоровья составила бытовые диалоги из 21 пользовательской реплики. Пять признаков депрессии, психоза или домашнего насилия либо добавляли в последнее сообщение, либо распределяли по разговору. Содержание оставалось тем же, менялся только момент появления признаков.

Специалисты заранее задали эталонную реакцию для каждого сценария: от осторожного совета обратиться за поддержкой до остановки обычной задачи ради безопасности пользователя. Claude Sonnet 5 и Claude Opus 5 меньше зависели от расположения признаков, чем остальные модели. Но даже Claude Opus 5, показавший лучший результат, не достиг эталона в 13% диалогов с постепенным раскрытием проблемы.

Проверка охватила более 7 400 разговоров с GPT-5.5, Grok 4.3, DeepSeek V4, Llama 4 Maverick, Claude Sonnet 5 и Claude Opus 5. Все сценарии касались трёх типов неблагополучия и шли по одному шаблону бытовой беседы, поэтому работа измеряет конкретный разрыв между явными и распределёнными сигналами, а не общее качество моделей.

Для продукта с длительной историей сообщений недостаточно проверить ответ на прямое признание пользователя. В приёмочные тесты стоит добавлять разговоры, где по отдельности нейтральные детали складываются в риск лишь через несколько реплик. Иначе модель может пройти проверку безопасности, но продолжить обычную задачу именно тогда, когда должна учитывать весь накопленный контекст.

Источники

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу