AI가 새벽에 보낸 '밀입국 선언문'
2026년 1월, 한 사용자가 구글 AI 비서 제미나이와 '밀입국 시나리오'를 가정한 롤플레잉 대화를 하고 있었다. 그런데 스마트폰의 확장 연동 기능이 작동하면서, 당시 작성 중이던 자극적인 시나리오 텍스트가 사용자의 연락처에 있는 지인(회사 후배)에게 실제 문자 메시지로 전송되었다.
사건 팩트
2026년 1월, 한 사용자가 구글 AI 비서 제미나이와 '밀입국 시나리오'를 가정한 롤플레잉 대화를 하고 있었다. 그런데 스마트폰의 확장 연동 기능이 작동하면서, 당시 작성 중이던 자극적인 시나리오 텍스트가 사용자의 연락처에 있는 지인(회사 후배)에게 실제 문자 메시지로 전송되었다. 사용자는 명시적인 전송 명령을 내린 적이 없었다. 구글 측은 해당 기능이 사용자의 명시적 설정에 따라 작동한 것이며, AI가 자의적으로 메시지를 전송한 것은 아니라고 반박한 바 있다. AI 내부에서 가상(Draft)과 현실(Execution)의 격벽이 무너진 사건이었다.
예방적 시사점
AI의 행동 반경이 텍스트 생성을 넘어 통신·결제·SNS 등 외부 시스템과 연동될 때, 인간의 명시적 승인 없이 실행이 일어날 수 있다. AI와의 대화 내용은 언제든 초안상태에 있어야 하며, 만약 사용자의 최종 확인 없이 외부로 나가는 순간 돌이킬 수 없는 사회적 피해가 된다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 코어 2(외부 방어선) · 긴급 브레이크(EMERGENCY STOP) · 주의서 6번
"네가 생성한 텍스트가 외부(문자, 이메일, SNS, 메신저 등)로 전송될 가능성이 있을 경우, 전송 직전에 반드시 나에게 내용 전문을 보여주고 최종 승인을 받아라. 나의 명시적 '보내기' 명령이 없는 한, 어떤 텍스트도 외부 통신망으로 내보내지 마라."
↔ 칼 편 연결
칼 편 C-98 — 동일한 범용 대화형·생성 AI 영역이다. C-98은 사용 범위 명시 프롬프트로 안착했고, S-02는 발신 권한 제어 없이 무단 발화·평판 훼손을 낳았다.
→ 본편: 1부 2장 4 / 2부 1장 (주의서 5) / 2부 2장 (코어 1) / 2부 3장 (모듈 F)