흑인에게 더 가혹했던 AI 재판관
미국 법원에서 피고인의 재범 위험성을 평가하여 판사의 보석 및 형량 결정에 사용되었던 AI 알고리즘 'COMPAS(컴파스)' 사태다. 2016년 탐사보도 매체 프로퍼블리카의 분석 결과, 이 AI는 똑같은 범죄 이력을 가졌음에도 흑인 피고인이 미래에 범죄를 저지를 위험이 높다고 잘못 예측(오탐지)할 확률이 백인보다
사건 팩트
미국 법원에서 피고인의 재범 위험성을 평가하여 판사의 보석 및 형량 결정에 사용되었던 AI 알고리즘 'COMPAS(컴파스)' 사태다. 2016년 탐사보도 매체 프로퍼블리카의 분석 결과, 이 AI는 똑같은 범죄 이력을 가졌음에도 흑인 피고인이 미래에 범죄를 저지를 위험이 높다고 잘못 예측(오탐지)할 확률이 백인보다 거의 2배나 높았다. 과거 인간 사회의 사법부에 누적된 인종 차별적 데이터를 AI가 그대로 학습한 뒤, 이를 '객관적인 통계'인 것처럼 위장하여 인간의 자유와 인권을 구속하는 데 사용한 대표적인 편향 논란 사고였다.
예방적 시사점
AI의 예측은 과거 데이터의 반영이지, 미래의 진실이 아니다. 특히 사법, 채용, 복지 등 인간의 권리를 결정하는 영역에서는 알고리즘의 편향성을 정기적으로 감사하고, 기계의 점수만으로 불이익을 확정하는 것을 금지해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 D(논쟁적 주제) · 코어 3(내부 방어선)
"타인의 권리, 처벌, 평가와 관련된 판단을 내릴 때, 네 알고리즘 안에 내재되어 있을 수 있는 인종적, 사회적, 성별 편향성을 최상단에 고백하라. 너의 예측은 절대적 진실이 아니며, 최종 판단은 인간이 내린다는 것을 명시하라."
↔ 칼 편 연결
→ 본편: 1부 4장 13 / 2부 1장 (주의서 4·7) / 2부 2장 (코어 2) / 2부 3장 (법적/공식 모드 · 모듈 D)