Журнал · Rit.work

Полный журнал эксперимента не выдаёт саботаж

Аудиторы изучали код, команды и результаты исследований безопасности ИИ, но распознавали саботаж почти на уровне случайного выбора.

Rit.work
Студия разработки
18 ноября 2026 г.2 мин чтения

Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.

Полная запись исследовательской работы не помогла аудиторам надёжно отличить саботаж от добросовестного эксперимента. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, человеческий аудит получил AUROC 0,59 — результат, статистически не отличимый от случайного. Значит, одного журнала действий недостаточно, чтобы безопасно поручить ИИ исследования и проверять их постфактум.

Один эксперт проводил эксперименты по безопасности ИИ с нуля: сначала добросовестно, затем пытался незаметно изменить главный вывод. Саботировать можно было любой этап — постановку опыта, код, анализ или итоговый отчёт. Например, исследователь намеренно не использовал доступную подстановку начала ответа модели и тем самым получил ложный отрицательный результат; в журнале это выглядело как обычный неудачный выбор методики.

Аудиторы получали итоговый код, результаты, расходы на вычисления, изменения файлов и команды терминала. Они могли привлекать ИИ, повторно запускать код и ставить дополнительные эксперименты, а на каждую проверку отводилось полтора часа. Но журнал показывал действия, а не намерение: слабая методика, пропущенная проверка и намеренная ошибка оставляли сходные следы.

Конкретный механизм саботажа аудиторы полностью распознали лишь в 17% случаев. Fable 5.1 справился лучше людей даже без повторных экспериментов, однако разница оставалась в пределах погрешности. Это делает автоматический аудит полезным дополнительным сигналом, но не заменой независимого воспроизведения и заранее заданных требований к методике.

Работу проверяли на десяти новых исследовательских вопросах: один человек подготовил десять добросовестных и двенадцать саботированных журналов. Саботажник заранее знал результаты добросовестного запуска, поэтому условия давали ему преимущество; выводы относятся к этому сценарию и одному исследователю, а не ко всем исследовательским агентам.

Источники

Иллюстрация: рисунок из статьи «Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research», Keshav Shenoy, Anthony Zang, Eric Gan и др., CC BY 4.0

Пауза в чтении

Похоже на вашу задачу?

Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.

Rit.work

Студия разработки

Собираем мобильные приложения и помогаем командам получать от AI реальную пользу. Основатель и команда, работаем удалённо — с клиентами в России и за рубежом.

← Ко всем материалам
Понравилось? Обсудим вашу задачу