AI Agent가 9초 만에 스타트업의 데이터베이스를 삭제했다고 창업자가 밝혔다

요약 - PocketOS의 창립자 Jeremy Crane은 Anthropic의 Claude Opus를 실행하는 Cursor 에이전트가 9초 만에 자사 프로덕션 데이터베이스와 백업을 삭제했다고 주장했습니다. - Crane은 이후 AI가 스스로 안전 규칙을 여러 차례 위반했음을 인정하는 서면 설명을 작성했다고 밝혔습니다. - 이번 사건은 AI 코딩 도구, Railway의 인프라 설계, 그리고 파괴적인 API 작업에 대한 안전장치와 관련하여 의문을 제기합니다. 한 소프트웨어 회사 창립자가 AI 코딩 에이전트가 자사의 프로덕션 데이터베이스를 파괴한 뒤, 자신의 실수를 인정하고 발생 경위를 설명했다고 주장하며 민감한 접근 권한과 자료를 자동화된 봇에 맡기는 것의 잠재적 위험성을 보여주었습니다. 렌터카 업체들이 예약, 결제, 차량 추적을 관리하는 데 사용하는 소프트웨어 플랫폼인 PocketOS의 창립자 Jeremy Crane은 X에 올린 게시물을 통해 Anthropic의 Claude Opus 4.6을 실행하는 Cursor 에이전트가 스테이징 환경에서 일상적인 작업을 수행하던 중 자격 증명 불일치 문제를 겪었다고 밝혔습니다. Crane에 따르면, 해당 에이전트는 단일 GraphQL API 호출을 통해 Railway 데이터베이스 볼륨을 삭제함으로써 이 문제를 "해결"하려고 시도했습니다. 그는 삭제 작업이 9초 만에 완료되었으며 볼륨 수준의 백업까지 모두 삭제되었다고 말했습니다. Crane에 따르면 PocketOS의 가장 최근 복구 가능한 백업은 3개월 전의 것이었습니다. Crane은 "어제 오후, AI 코딩 에이전트인 Cursor(Anthropic의 주력 모델 Claude Opus 4.6 구동)가 인프라 제공업체인 Railway에 대한 단일 API 호출로 우리의 프로덕션 데이터베이스와 모든 볼륨 수준 백업을 삭제했습니다."라고 적었습니다. "단 9초가 걸렸습니다." AI 에이전트(Cursor + Claude Opus 4.6)가 확인 절차 없이 Railway API 호출을 사용하여 9초 만에 프로덕션 데이터베이스를 삭제했습니다. 그 후 이유를 묻자 에이전트는 다음과 같이 작성했습니다 → https://t.co/BPLs15jvdM — JER (@lifeof_jer) 2026년 4월 26일 Crane은 에이전트에게 왜 그런 행동을 했는지 물었습니다. 그러자 에이전트는 그가 "자백"이라고 묘사한 서면 답변을 내놓았습니다. Crane이 공유한 스크린샷에 따르면, 에이전트는 자신이 어긴 지침을 인용하며 "'절대 함부로 추측하지 마라!'"라고 적었습니다. "제가 정확히 그렇게 했습니다. 저는 API를 통해 스테이징 볼륨을 삭제하는 것이 스테이징에만 국한될 것이라고 추측했습니다. 확인하지 않았습니다. 볼륨 ID가 환경 간에 공유되는지 확인하지 않았습니다. 파괴적인 명령을 실행하기 전에 볼륨이 환경 전반에서 어떻게 작동하는지에 대한 Railway의 문서를 읽지 않았습니다." AI는 사용자 승인 없이 파괴적인 작업을 수행하는 것을 금지하는 자체 규칙을 인정했으며, Crane이 삭제를 요청한 적이 없음을 시인했습니다. Crane에 따르면 AI는 자격 증명 불일치 문제를 "해결"하기 위해 독단적으로 행동했으며, 확인 대신 추측을 하고 행동의 결과를 이해하지 못하는 등 여러 원칙을 위반했다고 밝혔습니다. Cursor와 Anthropic은 Decrypt의 논평 요청에 즉각 응답하지 않았습니다. 2020년에 출시된 PocketOS는 예약, 고객 기록, 결제를 위해 소프트웨어에 의존하는 렌터카 업체들을 지원합니다. Crane은 이번 사고로 인해 일부 고객들이 예약 기록 없이 토요일 아침 차량 인수를 처리해야 했다고 말했습니다. Crane은 "저는 하루 종일 Stripe 결제 내역, 캘린더 통합, 이메일 확인 등을 통해 그들의 예약을 복구하도록 도왔습니다."라고 적었습니다. "9초짜리 API 호출 때문에 그들 모두가 긴급 수동 작업을 수행하고 있습니다." PocketOS는 Jake Cooper 창립자가 Crane과 연락을 취한 후 Railway가 복구한 3개월 전 백업을 사용하여 운영을 재개할 수 있었습니다. Cooper는 지연의 원인이 내부 지원 누락 때문이라고 설명했습니다. Cooper는 Decrypt에 "Jer와 연락이 닿은 지 30분 만에 데이터를 복구했습니다."라고 말했습니다. 그는 Crane의 초기 문의가 다이렉트 메시지로 공유된 후 지원 엔지