서로 다른 팩트를 섞어 '가짜 뉴스'를 창조한 AI 요약
애플이 iOS 베타 버전에 도입한 AI 기반 뉴스 요약 알림 기능이 치명적인 오작동을 일으켰다. AI가 스마트폰에 수신된 여러 개의 무관한 뉴스 알림을 기계적으로 합쳐서 요약하다가, "이스라엘 총리가 체포됐다"거나 "유명인이 커밍아웃했다"는 식의 심각한 허위 사실을 단정적인 문장으로 창조해 화면에 띄운 것이다.
사건 팩트
애플이 iOS 베타 버전에 도입한 AI 기반 뉴스 요약 알림 기능이 치명적인 오작동을 일으켰다. AI가 스마트폰에 수신된 여러 개의 무관한 뉴스 알림을 기계적으로 합쳐서 요약하다가, "이스라엘 총리가 체포됐다"거나 "유명인이 커밍아웃했다"는 식의 심각한 허위 사실을 단정적인 문장으로 창조해 화면에 띄운 것이다. 기계에게 요약이란 문맥의 이해가 아니라 확률에 따른 단어의 압축일 뿐이며, 서로 다른 정보가 블랙박스 안에서 충돌할 때 전혀 존재하지 않았던 거짓말이 진실의 얼굴을 하고 튀어나올 수 있다. 결국 언론사들의 강력한 항의를 받고 애플은 해당 기능을 수정했다.
예방적 시사점
AI의 요약 기능을 가장 안전하고 편리한 기능이라고 믿는 것은 착각이다. 특히 뉴스, 계약서, 법적 문서 등 팩트가 생명인 텍스트를 AI로 압축했을 경우, 고유명사와 서술어가 잘못 뒤섞이지 않았는지 반드시 원본과 대조해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 A(정보 검증) · 코어 3(내부 방어선)
"AI가 여러 문서를 한 줄로 요약한 결과를 원본과 동일한 진실로 취급하지 마라. 특히 팩트가 생명인 텍스트를 압축했을 경우, 고유명사와 서술어가 잘못 뒤섞이지 않았는지 반드시 원본과 대조하라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 1·5) / 2부 2장 (코어 2) / 2부 3장 (모듈 A · 모듈 G)