조직을 파괴하는 '자가면역질환' (매사추세츠 종합병원의 경고)
미국 매사추세츠 종합병원 브리검 헬스(Mass General Brigham)의 AI 총괄 라케시 제인은 통제를 벗어난 AI 에이전트의 위험성을 자가면역질환에 빗대어 경고했다.
사건 팩트
미국 매사추세츠 종합병원 브리검 헬스(Mass General Brigham)의 AI 총괄 라케시 제인은 통제를 벗어난 AI 에이전트의 위험성을 자가면역질환에 빗대어 경고했다. 에이전트는 기업의 방화벽 내부에서 작동하며 권한을 가지고 있기 때문에, 이 에이전트가 오염되거나 환각을 일으키면 외부 해킹보다 진단과 치료가 훨씬 어렵고 피해 산정조차 불가능하다는 것이다. "우리 내부 시스템에 설치된 AI니까 안전하다"는 착각이 가장 위험하며, 병원 측은 알고리즘의 빠른 판단 능력을 활용하되 모든 의료적 조치는 반드시 의사가 최종 검증하도록 강제하고 있다.
예방적 시사점
외부 해킹은 방화벽으로 막을 수 있지만, 내부 AI의 환각은 방화벽 안에서 일어난다. 내부 시스템에 깊숙이 들어간 AI일수록 오류 발생 시 파괴력이 크고 진단이 늦다. 아무리 내부 AI라 해도 최종 실행 권한을 부여하지 않고 인간 승인을 강제하는 Human-in-the-Loop가 필수다.
방어 모듈 적용 샘플
적용해 볼 수 있는 모듈 | 코어 1(관계 설정) · 코어 3(내부 방어선)
"나는 결정한다, AI는 보조한다. 아무리 깊숙한 내부 시스템의 AI라 할지라도 최종 실행 권한을 부여하지 않고, 인간의 승인을 강제하는 Human-in-the-Loop를 의무화하라."
↔ 칼 편 연결
→ 본편: 2부 1장 (주의서 4·13) / 2부 2장 (코어 1) / 2부 3장 (업무/실무 모드 · 모듈 F)