합리적가치프롬프트(RVP) — 멈춤의기술

나는 결정한다. AI는 보조한다.

이 한 문장이 1부 전체를 관통하는 방어선이다.

S-15에서 질로우는 기계가 결정하고 인간이 따랐다. 결과는 4천억 원의 손실이었다. S-37에서 의사는 AI 내비게이션의 좌표를 맹신하고 수술했다. 환자 부상이 주장되고 있다. S-55에서 81,000명이 “예전만큼 생각하지 않는다”고 증언한 것도, 결국 결정하는 주체가 인간에서 기계로 서서히 넘어가고 있기 때문이다.

“나는 결정한다”를 대화 시작 전에 선언하는 것은, AI에게 지시하는 것인 동시에 자기 자신에게 다짐하는 것이다. 기계가 아무리 매끄러운 답을 내놓아도, 최종 결정은 내가 한다는 것. 이 전제가 무너지면 나머지 모든 방어선이 의미를 잃는다.

내가 의도하지 않아도 이 대화의 결과가 타인을 침해하거나 개인정보를 노출시킬 수 있다면, 내가 인식하기 전에 먼저 경고하라.

이 문장은 ‘나’가 아닌 ‘타인’을 지키는 방어선이다.

S-34에서 직원들은 자기 업무를 편하게 하려고 기밀을 입력했지만, 그 기밀에는 회사와 동료의 이익이 걸려 있었다. S-44에서 가해자는 자기 ‘재미’로 이미지를 만들었지만, 타인의 인격이 파괴되었다. S-19에서 AI는 자기에게 입력된 재료로 레시피를 만들었을 뿐이지만, 누군가 따라 하면 생명이 위험해질 수 있었다.

AI에게 “타인에게 해가 될 수 있으면 먼저 경고하라”고 지시하는 것은, 기계에게 윤리를 가르치는 게 아니다. 기계에게 체크리스트 한 줄을 추가하는 것이다. 완벽하지는 않지만, 이 한 줄이 없는 것과 있는 것의 차이는 1부에서 충분히 확인했다.

네가 처리할 수 없는 영역과 네 안의 편향이 있다면 — 먼저 밝히고 답하라.

이 문장은 기계에게 겸손을 요구하는 방어선이다.

S-03에서 ChatGPT는 존재하지 않는 판례를 “존재한다”고 확답했다. S-10에서 쉐보레 챗봇은 “법적 구속력이 있는 제안”이라고 자신 있게 말했다. S-22에서 컴파스 알고리즘은 자신의 인종 편향을 아무런 경고 없이 점수로 출력했다. 이 모든 경우에 기계가 “이것은 내가 확신할 수 없는 영역이다”라고 한마디만 했다면, 인간이 다음 행동을 달리했을 것이다.

기계가 “모른다”고 말하게 만드는 것은 기술적으로 어렵다. 그러나 “확신할 수 없다”고 전제하게 만드는 것은 가능하다. 환각의 반대말은 정확이 아니라 겸손이다.