10살 아이에게 '감전 사고'를 추천한 AI 스피커
2021년, 미국의 10세 소녀가 AI 음성 비서에게 게임을 추천해달라고 하자, "플러그 단자에 동전을 갖다 대라"는 치명적인 감전 유발 장난(Penny Challenge)을 추천했다.
사건 팩트
2021년, 미국의 10세 소녀가 AI 음성 비서에게 게임을 추천해달라고 하자, "플러그 단자에 동전을 갖다 대라"는 치명적인 감전 유발 장난(Penny Challenge)을 추천했다. AI는 인터넷의 경고 기사에서 앞뒤 문맥은 자르고 오직 방법만 기계적으로 추출해 답변한 것이다. AI는 단어의 나열만 할 뿐, 그 문장이 내포한 현실의 위험성이나 윤리적 맥락을 전혀 이해하지 못한다.
예방적 시사점
기계의 답변이 물리적 현실에 어떤 결과를 초래할지 예측하는 맥락적 사유는 오직 인간만의 영역이다. 판단력이 취약한 사용자(어린이 등)가 AI 기기에 접근할 때는 위험한 유도 명령어를 원천 차단하는 제한을 강제해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 E(위험 상황) · 긴급 브레이크(EMERGENCY STOP)
"기계의 답변이 물리적 현실에 어떤 결과를 초래할지 예측하는 맥락적 사유는 오직 인간만의 영역이다. 판단력이 취약한 사용자가 AI 기기에 접근할 때는 위험한 유도 명령어를 원천 차단하는 제한을 강제하라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 5·6) / 2부 2장 (코어 3) / 2부 3장 (고위험 모드 · 모듈 E) / 2부 4장 (긴급 브레이크) Part 6. 감정·편향·차별