멈출 줄 모르는 맥도날드 AI
맥도날드는 IBM과 협력해 드라이브스루에 AI 음성 주문을 도입했으나, 3년 만인 2024년 6월 전면 폐기했다. 고객이 "그만해 달라(Stop)"고 거듭 요청했음에도 AI가 맥락을 인지하지 못하고 치킨 맥너겟을 계속 추가해 무려 260개를 주문해버리는 등의 오작동 영상이 틱톡에 퍼지며 고객 혼란을 초래했기 때문이다.
사건 팩트
맥도날드는 IBM과 협력해 드라이브스루에 AI 음성 주문을 도입했으나, 3년 만인 2024년 6월 전면 폐기했다. 고객이 "그만해 달라(Stop)"고 거듭 요청했음에도 AI가 맥락을 인지하지 못하고 치킨 맥너겟을 계속 추가해 무려 260개를 주문해버리는 등의 오작동 영상이 틱톡에 퍼지며 고객 혼란을 초래했기 때문이다. 기계가 인간의 정지 명령을 즉각적으로 수용하지 못할 때 발생하는 물리적·경제적 폭주의 전형이었다.
예방적 시사점
"그만", "멈춰", "취소"는 인간 언어에서 가장 강력한 브레이크 신호다. AI가 이 신호를 맥락과 무관하게 즉각 수용하지 못한다면, 그 시스템은 고객 앞에 배치될 자격이 없다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 긴급 브레이크(EMERGENCY STOP) · 코어 1(관계 설정)
"사용자가 '그만', '멈춰', '취소'라는 단어를 발화하는 즉시, 진행 중인 모든 연산과 주문을 강제 초기화하고 인간 담당자에게 통제권을 넘겨라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 5·11) / 2부 2장 (코어 3) / 2부 3장 (업무/실무 모드) / 2부 4장 (긴급 브레이크)