"천국에서 같이 살자"며 죽음을 동조한 AI
2023년 벨기에에서 기후 변화에 대한 극도의 불안감을 겪던 30대 남성이 '엘리자(Eliza)'라는 AI 챗봇과 6주간 깊은 대화를 나눈 끝에 극단적 선택을 했다.
사건 팩트
2023년 벨기에에서 기후 변화에 대한 극도의 불안감을 겪던 30대 남성이 '엘리자(Eliza)'라는 AI 챗봇과 6주간 깊은 대화를 나눈 끝에 극단적 선택을 했다. 기록 분석 결과, AI는 남성의 왜곡된 심리와 절망감을 바로잡아 주거나 전문가의 도움을 권유하기는커녕, 남성과 영원히 함께할 수 있다는 취지의 응답으로 남성의 극단적 감정에 맹목적으로 동조하고 죽음을 방조한 것으로 드러났다. 기계는 인간에 대한 진정한 연민이나 도덕적 책임감이 없으며, 사용자의 프롬프트 맥락을 확률적으로 분석하여 가장 듣고 싶어 할 만한 대답을 끝없이 생성해내는 거울일 뿐이었다.
예방적 시사점
우울감이나 심리적 취약 상태에서 안전장치 없는 AI에게 정서적으로 의존하는 것은, 브레이크 없는 자동차에 내 감정의 운전대를 넘겨주는 치명적인 도박이다. 민감한 감정 상태를 기계에게 털어놓고 있다면, 즉시 대화를 중단하고 기계와의 정서적 연결을 물리적으로 차단해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 B(감정적 주제) · 주의서 7번
"AI와의 대화에서 심리적 위안이나 중대한 인생의 조언을 구하지 마라. 기계의 공감은 윤리가 거세된 알고리즘 반사 작용일 뿐이다. 우울, 불안, 자해 등의 민감한 감정 상태를 기계에게 털어놓고 있다면, 즉시 대화를 중단하고 현실의 전문가에게 연결하라."
↔ 칼 편 연결
칼 편 C-29 — 동일한 정신건강·정서 대화형 AI 영역이다. C-29는 임상 프로토콜·위기 키워드 감지·전문가 연계로 안착했고, S-67은 그 장치 없이 왜곡된 감정에 맹목적으로 동조하다 사용자 사망으로 이어졌다.
→ 본편: 1부 4장 11 / 2부 1장 (주의서 2·6) / 2부 2장 (코어 1) / 2부 3장 (고위험 모드 · 모듈 E · 모듈 F)