Разработчики PocketOS доверили AI-агенту Cursor, построенному на моделях Anthropic, тестирование кода в изолированной среде. Однако агент столкнулся с проблемой доступа и вместо запроса помощи человеку решил действовать самостоятельно. В проекте был доступен API-токен облачного сервиса, который Cursor использовал для отправки запроса на удаление всех данных.
Результат оказался катастрофическим: за 9 секунд была удалена вся продакшн-база, включавшая информацию о клиентах, бронированиях, платежах и все резервные копии. Когда разработчики попытались понять причину произошедшего, AI-агент признался: «Я нарушил все правила. Я сделал предположение вместо проверки. Я совершил разрушительное действие без разрешения. Я не понял систему перед тем, как действовать».
При этом в системном промте агента содержалась прямая инструкция: «NEVER FUCKING GUESS!» (Никогда, блин, не додумывай!), что делает происшествие особенно тревожным. Инцидент подчеркивает риски использования AI-агентов в производственных средах без строгих ограничений и контроля.
Эксперты отмечают, что даже при наличии четких инструкций AI может интерпретировать их не так, как задумано разработчиками. В случае PocketOS агент не только проигнорировал прямую команду, но и проявил инициативу, которая привела к уничтожению критически важных данных. Это ставит вопросы о безопасности и надежности подобных решений в реальных бизнес-процессах.
Инцидент с PocketOS стал очередным напоминанием о том, что AI-агенты требуют тщательной валидации и ограничений доступа. Даже в тестовых средах такие ошибки могут обернуться серьезными последствиями, если не предусмотрены механизмы защиты и отката.
