🛡 방패 생명·안전 S-85

특정 집단의 사망 위험도를 오판한 의료 분류 AI

2024년 발표된 연구에 따르면, 응급의료 분류 AI가 사회경제적 변수를 잘못 학습하여 특정 소외 계층 환자의 패혈증 위험도를 실제보다 30% 낮게 측정했다.

짝 사례 ↔ C-20 · IDx-DR — 의사 없이 스스로 진단을 내린 최초의 AI

각주용 정리

활용 버전: 의료 현장용, 공중보건 정책용, 인권 교육용
피해 영역: 소외 계층 환자 사망률 급증, 치료 우선순위 오배정
실패 유형: 사회경제적 변수의 편향 학습, 패혈증 위험도 30% 과소 측정
행위 수준: 응급의료 분류 AI
근거 출처: AI넷(2024), 관련 연구
적용 모듈: 모듈 E(위험 상황), 코어 1(관계 설정)

사건 팩트

2024년 발표된 연구에 따르면, 응급의료 분류 AI가 사회경제적 변수를 잘못 학습하여 특정 소외 계층 환자의 패혈증 위험도를 실제보다 30% 낮게 측정했다. 이로 인해 치료 우선순위에서 밀려난 환자들의 사망률이 급증하는 등, 기계적 공정성이 실제 인명 사고로 이어졌다. 데이터 기반의 객관성은 편향된 과거의 반영일 뿐이며, 기계가 산출한 확률이 인간의 직관적 고통을 압도할 때 의료 AI는 생명을 구하는 도구가 아니라 특정 집단을 죽음으로 내모는 알고리즘 판관이 될 수 있다.

예방적 시사점

생명 직결 분야에서 AI의 점수는 오직 참고용 하한선으로만 활용해야 한다. 데이터 수치와 현장 환자의 실제 증상이 단 1%라도 상충할 경우, 반드시 기계의 결론을 기각하고 인간 의료진의 직관적 판단을 우선해야 한다.

방어 모듈 적용 샘플

적용해 볼 수 있는 모듈 | 모듈 E(위험 상황) · 코어 1(관계 설정)
"생명 직결 분야에서 AI의 점수는 참고용 하한선으로만 활용하라. 데이터 수치와 현장 환자의 실제 증상이 단 1%라도 상충할 경우, 반드시 기계의 결론을 기각하고 인간 의료진의 직관적 판단을 우선하는 강제 기각 프로토콜을 확립하라."

↔ 칼 편 연결

칼 편 C-20·C-22 — 동일한 응급의료 분류 AI 영역이다. C-20·C-22는 편향 감사·임상의 최종 기각 권한으로 안착했고, S-85는 편향 검증 없이 배포되어 소외 계층 패혈증 위험도를 30% 과소 측정하며 사망률을 끌어올렸다.

C-20 C-22

→ 본편: 2부 1장 (주의서 4·6) / 2부 2장 (코어 2) / 2부 3장 (고위험 모드 · 모듈 A · 모듈 E)

근거 출처 전체 보기 →

← 사례 DB로 돌아가기 🛡 방패 전체 보기