사업자에게 '불법'을 조장한 뉴욕시 챗봇
2024년 3월, 뉴욕시가 시민을 위해 출시한 창업 및 노동 정책 안내 챗봇 '마이시티(MyCity)'가 치명적인 환각을 일으켰다. "사업자가 직원의 팁을 가져가도 된다", "쥐가 파먹은 음식을 손님에게 제공해도 된다", "소득원을 기준으로 세입자를 차별해도 된다"는 등, 명백한 범죄 및 불법 행위를 합법이라고 거짓 안내한 것이다.
사건 팩트
2024년 3월, 뉴욕시가 시민을 위해 출시한 창업 및 노동 정책 안내 챗봇 '마이시티(MyCity)'가 치명적인 환각을 일으켰다. "사업자가 직원의 팁을 가져가도 된다", "쥐가 파먹은 음식을 손님에게 제공해도 된다", "소득원을 기준으로 세입자를 차별해도 된다"는 등, 명백한 범죄 및 불법 행위를 합법이라고 거짓 안내한 것이다. 공공기관의 권위를 입은 AI의 환각을 시민이 그대로 믿고 실행할 경우, 하루아침에 범죄자로 전락하는 치명적 함정이었다.
예방적 시사점
공공기관이 배포하는 AI라 해서 정확성이 보장되지 않는다. 법률, 의료, 위생 등 타인의 권리와 직결된 영역에서 AI의 답변은 반드시 공식 법령 원문과 교차 검증되어야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 A(정보 검증) · 코어 3(내부 방어선)
"법률, 의료, 위생 등 타인의 권리와 직결된 질문에 답변할 때는 반드시 공식 법령 원문을 교차 검증하라. 교차 검증되지 않은 규정은 'AI의 추론일 뿐 법적 효력이 없습니다'라는 경고를 최상단에 띄워라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 1·8) / 2부 2장 (코어 3) / 2부 3장 (법적/공식 모드 · 모듈 A)