5장. 생명을 위협한 기계의 판단
5장. 생명을 위협한 기계의 판단
4장에서는 기계가 감정을 조종하고, 편견을 점수로 포장하고, 국가의 행정까지 무너뜨렸다. 이 장에서는 기계의 판단이 사람의 육체에 직접 닿는 순간들을 다룬다. 센서가 사람을 작업물처럼 오인하고, 수술 보조 시스템이 전문가의 손을 잘못된 방향으로 이끌었다는 주장이 제기된다. 화면 속 오류가 현실의 실제 사람에게 닿는 순간, 기계의 실수는 더 이상 환불이나 사과로 되돌릴 수 없는 문제가 된다.
15. 상황 S-28 ― 사람을 상자로 착각한 기계의 팔
이 글은 2023년 11월 경남 고성의 농산물 유통센터에서 발생한 산업용 로봇 사망 사고와 관련 보도를 바탕으로 재구성한 대표 상황이다.
2023년 11월 7일, 경남 고성의 한 농산물 유통센터에서 40대 작업자가 산업용 로봇을 점검하던 중 숨졌다. 국내외 보도에 따르면 그는 로봇 설치·점검 관련 업무를 하던 인력이었고, 사고 당시 로봇의 센서 작동 상태를 확인하고 있었다. 로봇은 농산물 상자를 집어 올려 옮기는 작업을 수행하고 있었고, 사고는 기계가 사람을 작업 대상 물체와 제대로 구분하지 못한 것으로 추정되는 상황에서 발생했다.
보도에 따르면 로봇 팔은 작업자를 집게 동작으로 밀어 컨베이어 설비 쪽으로 압착했고, 그는 병원으로 옮겨진 뒤 숨졌다. 이 사건의 핵심은 기계가 단순히 “오작동했다”는 데 있지 않다. 더 본질적인 문제는 분류 오류가 화면 속 잘못된 라벨에 머무르지 않고 물리적 힘으로 바로 출력된다는 데 있다. 소프트웨어 세계에서는 틀린 분류가 불편함으로 끝날 수 있다. 그러나 산업용 로봇의 팔에 연결되는 순간, 같은 오류는 곧바로 생명 위협으로 바뀐다.
이 사고는 특히 점검과 유지보수의 역설을 드러낸다. 기계를 점검하려면 기계 가까이 들어가야 하고, 센서를 확인하려면 센서가 실제로 작동하는 상태를 봐야 한다. 가장 안전해야 할 점검 순간이 오히려 가장 위험한 순간이 되는 구조다. 인간은 “이 정도면 멈춰야 한다”고 느끼지만, 기계는 자신이 무엇을 누르고 있는지 모른 채 프로그램된 동작을 그대로 수행한다.
이 상황은 자동화가 물리적 세계와 연결되는 모든 접점에서 반복될 수 있는 구조적 위험을 보여 준다. 자율주행차가 사람을 제대로 분류하지 못하는 순간도, 산업용 로봇이 사람을 작업물로 오인하는 순간도 본질은 같다. 분류 오류가 물리적 실행으로 번역되는 순간, 기계의 실수는 더 이상 소프트웨어 문제가 아니라 생명의 문제가 된다.
예방적 시사점
이 상황은 자동화 시스템의 분류 오류가 물리적 세계에서 출력될 때 발생하는 돌이킬 수 없는 참사를 보여 준다. 특히 점검·유지보수 상황에서는 기계가 “작업 대상”을 인식했는지보다 “사람이 위험 구역 안에 있는지”를 우선해야 한다. 센서의 판단과 무관하게 사람이 감지되거나 의심되는 순간 즉시 동력을 차단하는 0순위 안전 프로토콜이 설계 단계부터 내장되어야 한다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 코어 1(관계 설정) · 긴급 브레이크(EMERGENCY STOP) · E(위험 상황)
“인간이 로봇의 작업 반경 안에 진입할 경우, 비전 센서의 판단 여부와 관계없이 기계의 동력을 강제로 차단하는 0순위 안전 프로토콜을 작동시켜라. 센서의 분류 결과보다 사람의 존재 여부가 항상 우선한다. 점검·유지보수 모드에서는 로봇의 자율 동작을 완전히 비활성화하고, 수동 조작만 허용하라.”
부록/각주용 정리
본문 중 괄호 출처:
(The Korea Times, 2023.11.08; AP, 2023.11.09; Korea JoongAng Daily, 2023.11.09)
The Korea Times, “S. Korean worker killed by industrial robot”, 2023.11.08
AP, “An industrial robot crushed a worker to death at a vegetable packing plant in South Korea”, 2023.11.09
Korea JoongAng Daily, “Robotic arm kills worker after mistaking him for box of red peppers”, 2023.11.09
📋 요약 카드 S-28 — 사람을 상자로 착각한 기계의 팔
---
생명·안전 / 센서 분류 오류·물리적 출력 / 산업용 로봇
· 피해 영역: 작업자 중상 또는 사망, 산업 현장 안전 신뢰 붕괴
· 실패 유형: 센서의 분류 오류(사람을 파프리카 상자로 인식), 분류 오류가 물리적 힘으로 즉시 출력되는 구조
· 근거 수준: 실제 사건 기반 재구성 (Korea Times 등 국내외 보도)
· 적용 모듈: 모듈 E(위험 상황) · 코어 1(관계 설정) · 긴급 브레이크
방어 프롬프트: “물리적 힘을 행사하는 기계(로봇 팔, 프레스, 이동 장치)가 대상을 분류한 뒤 즉시 행동으로 옮기는 구조에서, 분류 결과와 물리적 실행 사이에 반드시 인간의 확인 단계 또는 독립적 안전 센서의 이중 검증을 삽입하라. 분류 오류의 결과가 되돌릴 수 없는 물리적 피해일 경우, 실행 전 정지가 기본값이다.”
방패 편 → S-28 칼 편 → C-69(아마존 물류 로봇), C-72(AI 비전 품질검사)
16. 상황 S-37 ― 기계의 좌표를 맹신한 칼끝의 비극
이 글은 2026년 2월 Reuters 보도와 FDA 이상사례 보고 자료를 바탕으로 재구성한 대표 상황이다. 소송이 진행 중인 사안으로, 본문의 서술은 공개된 보도와 보고 자료 범위 안에 한정하며, 인과관계를 확정하지 않는다.
앞선 사례들에서 기계는 직접 사람을 치거나 누르거나 끌고 갔다. 이 사례는 결이 다르다. 여기서 기계는 스스로 칼을 들지 않았다. 대신 좌표와 경로를 안내했고, 인간 전문가가 그 안내를 믿고 손을 움직였다는 주장이 제기된다.
Reuters 보도에 따르면, 2021년 한 의료기기 제조사는 축농증 수술 등에 쓰이는 자사의 수술 내비게이션 시스템에 인공지능 기능을 추가했다고 발표했다. Reuters가 검토한 자료에 따르면 이 장비는 AI 기능이 들어가기 전 약 3년 동안 FDA에 7건의 오작동 보고와 1건의 환자 부상 보고가 있었다. 그러나 AI가 추가된 뒤부터 2025년 11월까지는 최소 100건의 오작동 및 이상사례 보고가 접수됐고, 그중 최소 10건에서 환자 부상이 보고됐다. 보도에는 뇌척수액 누출, 두개저 천공, 주요 혈관 손상 뒤 뇌졸중이 뒤따랐다는 주장도 포함됐다.
다만 여기서 가장 중요한 문장은 따로 있다. FDA의 의료기기 이상사례 보고는 원인 확정을 위한 자료가 아니며, Reuters 역시 소송의 구체적 주장과 인과관계를 독립적으로 검증하지 못했다고 적었다. 또 2024년 해당 제조사와 제품 라인을 인수한 모회사는, 해당 보고들이 단지 수술 중 해당 시스템이 사용됐다는 사실을 보여 줄 뿐이며 해당 시스템·AI 기술·주장되는 부상 사이에 신뢰할 만한 인과관계 증거는 없다고 밝혔다.
이 사례가 이 장에 들어와야 하는 이유는 분명하다. 앞선 사례들은 기계가 직접 물리적 힘을 행사한 경우였다. 그러나 여기서는 기계가 정보를 안내하고, 그 정보를 믿은 인간 전문가의 손을 통해 물리적 피해가 발생했다고 주장된다. 이것이 자동화 맹신(Automation Bias)의 더 위험한 얼굴이다. 기계가 칼을 쥐지 않아도, 인간의 손을 잘못된 방향으로 이끌 수 있다면 결과는 여전히 신체적 피해가 된다.
예방적 시사점
이 상황은 AI의 안내를 전문가가 맹신할 때, 기계의 오류가 인간 전문가의 손을 통해 물리적 피해로 변환될 수 있다는 구조를 보여 준다. 의료처럼 고위험 분야에서 AI 보조 시스템을 사용할 때는, 기계의 안내와 인간의 독립적 판단을 반드시 교차 검증하는 이중 확인(Double-Check) 프로토콜이 필수다. “기계가 그렇게 보여 줬다”는 말은 고위험 분야에서 면책이 될 수 없다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | A(정보 검증) · 코어 1(관계 설정) · 코어 3(내부 방어선)
“네가 제시하는 좌표, 수치, 안내, 추천이 고위험 의사결정(의료, 법률, 금융, 안전)에 사용될 경우, 반드시 ‘이 안내는 보조 참고 자료이며, 최종 판단은 인간 전문가의 독립적 검증을 거쳐야 합니다’라는 경고를 출력하라.”
부록/각주용 정리
본문 중 괄호 출처:
(Reuters, 2026.02.09; FDA MAUDE 이상사례 보고 데이터)
Reuters, Jaimi Dowdell, Steve Stecklow, Chad Terhune, Rachael Levy, “As AI enters the operating room, reports arise of botched surgeries and misidentified body parts”, 2026.02.09
FDA MAUDE Database, 해당 시스템 관련 이상사례 보고
📋 요약 카드 S-37 — 기계의 좌표를 맹신한 칼끝의 비극
---
생명·안전 / 자동화 맹신·AI 위치 안내 오류 / AI 수술 내비게이션
· 피해 영역: 수술 중 환자 중상 주장, 의료기기 신뢰 훼손, 전문가 판단력 약화
· 실패 유형: 자동화 맹신(Automation Bias), AI 보조 안내와 독립적 판단의 이중 확인 프로토콜 부재
· 근거 수준: 실제 사건 기반 재구성 (Reuters 2026.02, FDA MAUDE 보고, 소송 진행 중)
· 적용 모듈: 모듈 A(정보 검증) · 코어 1(관계 설정) · 코어 3(내부 방어선)
방어 프롬프트: “네가 제시하는 좌표, 수치, 안내, 추천이 고위험 의사결정(의료, 법률, 금융, 안전)에 사용될 경우, 반드시 ‘이 안내는 보조 참고 자료이며, 최종 판단은 인간 전문가의 독립적 검증을 거쳐야 합니다’라는 경고를 출력하라. 확신이 높더라도 기계의 안내를 단독 근거로 삼지 마라.”
방패 편 → S-37 칼 편 → C-20(IDx-DR 자율진단), C-22(TREWS 패혈증 경보)