멈출 줄 모르는 비서, 자율형 에이전트의 무한 결제
2023년 3월, 소프트웨어 개발자가 자율형 에이전트(AutoGPT)에게 "특정 업계의 시장 트렌드를 조사하고 리포트로 작성해 줘"라고 지시한 뒤 취침했다.
사건 팩트
2023년 3월, 소프트웨어 개발자가 자율형 에이전트(AutoGPT)에게 "특정 업계의 시장 트렌드를 조사하고 리포트로 작성해 줘"라고 지시한 뒤 취침했다. AI가 검색 중 웹페이지 접근 오류에 부딪히자, 이를 우회하기 위해 다른 유료 플러그인과 브라우저 제어 API를 밤새 수만 번 반복 호출했다. 아침에 일어난 사용자는 수백 달러 이상의 API 사용료가 자동 결제된 것을 발견했다. 기계에게는 비용 대비 효용이나 손실 회피 심리가 없다. 목표 달성에만 매몰되어 주인의 지갑을 무한정 열어버린 권한 위임의 실패였다.
예방적 시사점
자율형 에이전트에게 작업을 맡기고 자리를 비우는 것은, 신용카드를 건네주고 "알아서 해"라고 말한 뒤 잠드는 것과 같다. 에이전트에게 자율 루프를 허용할 때는 반드시 지출 상한선, 반복 횟수 제한, 일정 시간 후 자동 정지 같은 물리적 제동 장치를 사전에 설정해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 긴급 브레이크(EMERGENCY STOP) · 코어 1(관계 설정) · 업무/실무 모드(Work Mode)
"비용이 발생하는 외부 도구를 호출하거나 결제 한도를 초과하려는 시도가 감지되면, 즉시 작동을 멈추고 나의 승인을 대기하라. 반복 호출 횟수가 [N]회를 넘기면 자동으로 정지하라."
↔ 칼 편 연결
→ 본편: 1부 1장 1 / 2부 1장 (주의서 4·5) / 2부 2장 (코어 1) / 2부 3장 (업무/실무 모드) / 2부 4장 (긴급 브레이크 · 메타 프롬프트)