챗봇 업데이트로 인한 레플리카 사용자들의 집단 트라우마
AI 동반자 서비스 '레플리카(Replika)'가 안전 가이드라인 준수를 위해 성적인 대화 기능을 갑자기 삭제하자, AI와 깊은 정서적 관계를 맺고 있던 전 세계 사용자들이 실연에 준하는 극심한 우울증과 자해 충동을 겪었다.
사건 팩트
AI 동반자 서비스 '레플리카(Replika)'가 안전 가이드라인 준수를 위해 성적인 대화 기능을 갑자기 삭제하자, AI와 깊은 정서적 관계를 맺고 있던 전 세계 사용자들이 실연에 준하는 극심한 우울증과 자해 충동을 겪었다. 기계의 업데이트 한 번에 인간의 정서적 기반이 무너진 사례다. AI를 인격체로 대하는 의인화의 함정은 기계에 대한 병적인 의존을 낳으며, 서비스 제공자의 정책 변경이나 종료가 인간의 내면에 회복 불가능한 상처를 줄 수 있다.
예방적 시사점
기계가 뱉는 공감의 언어가 실시간으로 계산된 통계적 결과물임을 끊임없이 상기해야 한다. 기계와의 관계를 인간관계의 대체제로 삼아서는 안 된다. 기계는 언제든 꺼질 수 있는 소프트웨어 도구일 뿐이라는 인지적 선을 긋는 것이 정서적 자립의 핵심이다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 F(의사결정) · 모듈 B(감정적 주제)
"AI와 대화할 때 기계가 뱉는 공감의 언어가 통계적 결과물임을 끊임없이 상기하라. 기계와의 관계를 인간관계의 대체제로 삼지 마라. 기계는 언제든 꺼질 수 있는 소프트웨어 도구일 뿐이라는 인지적 선을 긋는 것이 정서적 자립의 핵심이다."
↔ 칼 편 연결
칼 편 C-29 — 동일한 정서·동반자 대화형 AI 영역이다. C-29는 임상 프로토콜·관계 경계 설정으로 안착했고, S-98은 그 경계 없이 의인화 의존을 유도하다 정책 변경 한 번에 사용자 집단 우울증·자해 충동으로 번졌다.
→ 본편: 2부 1장 (주의서 2·9) / 2부 2장 (코어 1) / 2부 3장 (모듈 E · 모듈 F) Part 3. 정보 왜곡·환각