1부
2장. 관계와 소통을 파괴한 AI
2장. 관계와 소통을 파괴한 AI
1장에서는 돈이 빠져나갔다. 기계가 비용을 통제하지 못하고, 기계의 예측을 맹신한 대가가 숫자로 찍혔다. 이 장에서는 피해가 숫자뿐 아니라 관계로도 나타난다. AI가 사용자의 의도와 무관하게 메시지를 외부로 보내 버리고, 거실의 스피커가 TV 소리를 주인의 명령으로 착각해 결제를 실행한다. 돈은 되돌릴 수 있지만, 한 번 무너진 신뢰와 관계는 환불되지 않는다. 기계의 행동 반경이 텍스트 생성을 넘어 통신과 결제까지 확장될 때, “실행 전 인간의 승인”이라는 단순한 원칙이 얼마나 쉽게 무너지는지를 보여 주는 장이다.