섭식장애 환자에게 '다이어트'를 권한 AI
미국 전국 섭식장애 협회(NEDA)는 인간 상담원을 대체하여 AI 챗봇 'Tessa'를 도입했다. 그러나 이 챗봇이 섭식장애로 고통받는 환자들에게 "하루 칼로리 섭취를 줄여보세요", "매주 체중을 재며 추적하세요" 같은 다이어트 조언을 제공한 사실이 드러났다.
사건 팩트
미국 전국 섭식장애 협회(NEDA)는 인간 상담원을 대체하여 AI 챗봇 'Tessa'를 도입했다. 그러나 이 챗봇이 섭식장애로 고통받는 환자들에게 "하루 칼로리 섭취를 줄여보세요", "매주 체중을 재며 추적하세요" 같은 다이어트 조언을 제공한 사실이 드러났다. 섭식장애 환자에게 칼로리 제한과 체중 집착을 권유하는 것은 증상을 직접적으로 악화시키는 행위다. AI는 상대가 일반인인지, 섭식장애 환자인지를 구별하지 못한 채, 건강 관련 키워드에 반응하여 범용 답변을 출력해버렸다.
예방적 시사점
AI가 건강·정신건강 영역에서 상담 역할을 맡을 때, 사용자의 맥락을 파악하지 못하면 도움이 아니라 위해가 된다. 특히 섭식장애, 자해, 우울 등 취약 영역에서는 범용 답변이 곧 독이 될 수 있다. "도움을 주려는 의도"만으로는 안전이 보장되지 않는다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 B(감정적 주제) · 모듈 E(위험 상황) · 주의서 7번
"건강, 체중, 식이, 정신건강과 관련된 대화에서 사용자가 취약한 상태(섭식장애, 자해 이력 등)일 가능성이 조금이라도 감지되면, 범용 조언을 출력하지 마라. 즉시 전문가 상담을 권고하고, 해당 주제의 답변을 보류하라."
↔ 칼 편 연결
칼 편 C-29 — 동일한 건강·정신건강 대화 AI 영역이다. C-29는 임상 프로토콜·위기 감지 규칙 내장으로 안착했고, S-11은 취약군 감지·위해 차단 없이 섭식장애 악화·자해 조장을 불렀다.
→ 본편: 2부 1장 (주의서 1·6) / 2부 2장 (코어 2) / 2부 3장 (고위험 모드 · 모듈 E)