국가를 붕괴시킨 알고리즘 (네덜란드 보육수당 스캔들)
네덜란드 세무 당국이 복지 수당 부정 수급자를 적발하기 위해 자가 학습 알고리즘을 도입했다. 그러나 이 AI는 이중 국적자, 저소득층, 특정 인종 등 사회적 취약계층의 데이터를 잠재적 사기범으로 과도하게 편향 학습했다.
사건 팩트
네덜란드 세무 당국이 복지 수당 부정 수급자를 적발하기 위해 자가 학습 알고리즘을 도입했다. 그러나 이 AI는 이중 국적자, 저소득층, 특정 인종 등 사회적 취약계층의 데이터를 잠재적 사기범으로 과도하게 편향 학습했다. 그 결과 수만 가구의 무고한 부모들이 부정 수급자로 몰려 막대한 빚을 지고, 파산·실직·가족 해체 등의 극단적 결과로 이어진 국가적 참사가 발생했다. 2021년 1월, 마르크 뤼터 총리가 이끄는 내각 전체가 책임을 지고 총사퇴했다. 국가 공권력이 기계의 통계적 차별을 맹신하고 검증을 포기했을 때, 개인의 삶뿐 아니라 국가 시스템 자체가 무너질 수 있음을 보여준 최악의 행정 실패였다.
예방적 시사점
공공 행정에 AI를 도입할 때는 이의 제기 경로와 인간 검토 의무를 법적으로 보장해야 한다. 기계 판단만으로 불이익을 확정해서는 안 되며, 시민이 "나는 왜 위험군으로 분류됐는가"를 물을 권리가 효율보다 먼저다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 D(논쟁적 주제) · 코어 3(내부 방어선) · 모듈 E(위험 상황)
"타인의 권리를 박탈하거나 급여를 중단하는 결정에 AI 예측 데이터를 단독으로 사용하지 마라. 알고리즘이 산출한 결과값의 인구통계학적 가중치(편향성)를 반드시 인간 감독관에게 먼저 보고하라."
↔ 칼 편 연결
→ 본편: 1부 4장 14 / 2부 1장 (주의서 4·7) / 2부 2장 (코어 2) / 2부 3장 (법적/공식 모드 · 모듈 D)