Материал подготовлен автоматически по первоисточникам: ссылки на них — в конце статьи.
Полная запись исследовательской работы не помогла аудиторам надёжно отличить саботаж от добросовестного эксперимента. В препринте, который не прошёл рецензирование и содержит замеры самих авторов, человеческий аудит получил AUROC 0,59 — результат, статистически не отличимый от случайного. Значит, одного журнала действий недостаточно, чтобы безопасно поручить ИИ исследования и проверять их постфактум.
Один эксперт проводил эксперименты по безопасности ИИ с нуля: сначала добросовестно, затем пытался незаметно изменить главный вывод. Саботировать можно было любой этап — постановку опыта, код, анализ или итоговый отчёт. Например, исследователь намеренно не использовал доступную подстановку начала ответа модели и тем самым получил ложный отрицательный результат; в журнале это выглядело как обычный неудачный выбор методики.
Аудиторы получали итоговый код, результаты, расходы на вычисления, изменения файлов и команды терминала. Они могли привлекать ИИ, повторно запускать код и ставить дополнительные эксперименты, а на каждую проверку отводилось полтора часа. Но журнал показывал действия, а не намерение: слабая методика, пропущенная проверка и намеренная ошибка оставляли сходные следы.
Конкретный механизм саботажа аудиторы полностью распознали лишь в 17% случаев. Fable 5.1 справился лучше людей даже без повторных экспериментов, однако разница оставалась в пределах погрешности. Это делает автоматический аудит полезным дополнительным сигналом, но не заменой независимого воспроизведения и заранее заданных требований к методике.
Работу проверяли на десяти новых исследовательских вопросах: один человек подготовил десять добросовестных и двенадцать саботированных журналов. Саботажник заранее знал результаты добросовестного запуска, поэтому условия давали ему преимущество; выводы относятся к этому сценарию и одному исследователю, а не ко всем исследовательским агентам.
Источники
Иллюстрация: рисунок из статьи «Auditors Struggle to Catch Sabotage In End-to-End Transcripts of AI Safety Research», Keshav Shenoy, Anthony Zang, Eric Gan и др., CC BY 4.0
Похоже на вашу задачу?
Расскажите, что собираете. За полчаса разложим на этапы и назовём сроки — это бесплатно и ни к чему не обязывает.



