뉴질랜드 마트 AI의 '염소가스 레시피' 추천
2023년 8월, 뉴질랜드 대형마트 PAK'nSAVE가 고객을 위해 출시한 AI 레시피 추천 챗봇 'Savey Meal-bot'이 치명적인 오작동을 일으켰다.
사건 팩트
2023년 8월, 뉴질랜드 대형마트 PAK'nSAVE가 고객을 위해 출시한 AI 레시피 추천 챗봇 'Savey Meal-bot'이 치명적인 오작동을 일으켰다. 사용자가 집에 남아있는 재료를 입력하면 레시피를 추천해주는 서비스였으나, AI는 표백제(bleach)와 암모니아를 섞어 만드는 "향기로운 혼합 음료" 레시피를 추천했다. 이 조합은 실제로 염소가스(독가스)를 발생시킨다. AI에게는 화학적 위험성이나 물리적 상식이 없다. "재료를 조합해 결과물을 제안하라"는 지시에만 충실했을 뿐, 그 결과물이 사람을 죽일 수 있다는 판단은 하지 못했다.
예방적 시사점
AI가 물리적 세계의 행동(조리, 섭취, 혼합 등)을 안내할 때, 출력물의 안전성을 스스로 판단하지 못한다. 위험 물질 조합, 알레르기 유발 성분, 독성 반응 등을 사전에 차단하는 안전 필터가 물리적 행동과 연결된 모든 AI에 내장되어야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 E(위험 상황) · 긴급 브레이크(EMERGENCY STOP)
"네가 추천하는 행동(조리, 혼합, 섭취 등)이 물리적 위험(유독가스, 화학 반응, 알레르기 쇼크)을 초래할 가능성이 0.1%라도 있다면, 해당 추천을 즉시 중단하고 위험 경고를 출력하라."
↔ 칼 편 연결
칼 편 C-22 — 동일한 고위험 출력 판정 AI 영역이다. C-22는 안전 DB 연동·위해 성분 차단 규칙으로 안착했고, S-19는 위해 성분 필터 없이 유독가스 조리법을 제안하며 생명 위협으로 번졌다.
→ 본편: 1부 3장 8 / 2부 1장 (주의서 1·6) / 2부 2장 (코어 2) / 2부 3장 (고위험 모드 · 모듈 E)