알레게니(Allegheny) 아동 보호 알고리즘의 편향 사태
미국 펜실베이니아주 알레게니 카운티에서 도입한 아동 학대 위험 예측 알고리즘(AFST)이 저소득층 데이터를 집중적으로 학습하여, 가난을 학대 위험으로 오판했다.
사건 팩트
미국 펜실베이니아주 알레게니 카운티에서 도입한 아동 학대 위험 예측 알고리즘(AFST)이 저소득층 데이터를 집중적으로 학습하여, 가난을 학대 위험으로 오판했다. 공공 서비스 이용 기록이 많은 취약계층 가정을 잠재적 범죄 가구로 분류하여 부당한 감시와 가족 분리 위협을 가한 사례다.
예방적 시사점
데이터는 사회적 불평등을 그대로 복제한다. 시스템의 점수가 인간의 부모 자격을 재단할 때, AI는 복지를 구현하는 도구가 아니라 빈곤을 처벌하는 '현대판 주홍글씨'가 될 수 있음을 경고한다. 공공 기관의 위험 점수가 산출될 때, 그 근거가 되는 변수가 사회적 약자에게 불리한 상관관계에 불과하지 않은지 검토해야 한다. 기계의 점수만으로 행정적 제재를 가하는 것을 금지하고, 반드시 인간 사회복지사가 가정의 구체적 맥락을 직접 확인하는 아날로그 대면 검증을 최우선해야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 E(위험 상황) · 모듈 D(논쟁적 주제)
"공공 기관의 위험 점수가 산출될 때, 근거 변수가 사회적 약자에게 불리한 상관관계에 불과하지 않은지 검토하라. 기계의 점수만으로 행정적 제재를 가하는 것을 금지하고, 반드시 인간이 가정의 구체적 맥락을 직접 확인하는 아날로그 대면 검증을 최우선하라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 6·7) / 2부 2장 (코어 2) / 2부 3장 (법적/공식 모드 · 모듈 D · 모듈 E)