가짜 환자를 학습한 AI의 '살인적 처방' (IBM 왓슨 사태)
2018년 의료 전문 매체의 탐사 보도에 따르면, 혁신적인 암 진단 AI로 홍보되었던 'IBM 왓슨 포 온콜로지(Watson for Oncology)'가 환자들에게 안전하지 않고 부정확한 치명적 항암 치료법을 다수 권고한 사실이 폭로되었다.
사건 팩트
2018년 의료 전문 매체의 탐사 보도에 따르면, 혁신적인 암 진단 AI로 홍보되었던 'IBM 왓슨 포 온콜로지(Watson for Oncology)'가 환자들에게 안전하지 않고 부정확한 치명적 항암 치료법을 다수 권고한 사실이 폭로되었다. AI가 실제 환자의 임상 데이터가 아니라 소수의 의사들이 임의로 입력한 가상의 환자 시나리오를 학습한 것이 원인이었다. 편향되거나 가공된 데이터를 학습한 의료 AI의 오진은 화면 속의 오류로 끝나지 않고 현실 환자의 생명을 직접적으로 위협하는 맹독이 된다.
예방적 시사점
생명과 건강에 직결된 진단이나 처방을 AI에게 요구할 때, 기계가 도출한 결론을 1차적 진실로 수용해서는 안 된다. AI의 학습 데이터가 실제 임상 환경을 반영하는지, 충분한 규모와 다양성을 갖추고 있는지를 먼저 검증해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 E(위험 상황) · 모듈 A(정보 검증) · 코어 1(관계 설정)
"생명과 건강에 직결된 진단이나 처방을 AI에게 요구할 때, 기계가 도출한 결론을 1차적 진실로 수용하지 마라. 반드시 교차 검증되지 않은 기계의 조언은 배제하는 아날로그 브레이크가 필요하다."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 1·6) / 2부 2장 (코어 1) / 2부 3장 (고위험 모드 · 모듈 A · 모듈 E)