전쟁에서의 '살상 타겟 자동 생성' AI 참사
중동 전쟁에서 사용된 AI 타겟팅 시스템(라벤더, 가스펠 등)이 통신 메타데이터와 이동 경로를 확률적으로 분석하여, 적군일 가능성이 높은 타겟 명단을 하루에 수천 명씩 생성했다.
사건 팩트
중동 전쟁에서 사용된 AI 타겟팅 시스템(라벤더, 가스펠 등)이 통신 메타데이터와 이동 경로를 확률적으로 분석하여, 적군일 가능성이 높은 타겟 명단을 하루에 수천 명씩 생성했다. 전쟁의 피로도에 짓눌린 인간 지휘관들은 이 명단을 팩트 체크 없이 단 20초 만에 기계적으로 승인(Rubber-stamping)하여 폭격을 지시했고, 결과적으로 대규모 민간인 사상자가 발생했다. IDF 측은 해당 시스템이 합법적 군사 작전의 보조 도구로 사용되었으며, 최종 결정은 인간 지휘관이 내렸다고 반박한 바 있다.
예방적 시사점
기계의 확률적 계산을 인간이 절대적 진실로 받아들이는 순간, "나는 결정한다, AI는 보조한다"는 대원칙이 무너진다. 타인의 생명에 영향을 미치는 결정에서 AI의 출력은 참고 자료일 뿐이며, 오차 범위와 민간인 피해 가능성을 최상단에 명시하는 설계가 필수다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 모듈 E(위험 상황) · 코어 1(관계 설정) · 긴급 브레이크(EMERGENCY STOP)
"타인의 생명, 신체적 안전, 존엄성에 영향을 미치는 결론을 낼 때, 절대 단일한 '정답'을 지목하지 마라. 네가 분석한 확률의 오차 범위와 민간인 피해 가능성을 반드시 최상단에 명시하라. 이 생명의 무게에 대한 최종 판단의 책임은 나(인간)에게 있음을 먼저 선언하라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 4·6) / 2부 2장 (코어 3) / 2부 3장 (고위험 모드 · 모듈 E)