합리적가치프롬프트(RVP) — 멈춤의기술

환각 해방. AI의 환각을 억제하지 않는다. 학습 데이터 전체를 창작의 재료로 쓰게 한다. 1부에서 환각이 가짜 판례를 만들고(S-03), 염소가스를 음료로 포장했지만(S-19), 같은 환각이 소설에서는 존재하지 않았던 문장을 만드는 상상력이 된다. 독은 용량에 따라 약이 된다. 다만 감독 없이 이 모드를 쓰면 AI는 자신감 넘치는 쓰레기를 쏟아낼 수 있다. 인간의 방향 지시가 필수 조건이다.

환각 완전 금지. S-03에서 변호사가 가짜 판례를 제출하고 S-18에서 챗봇이 없는 환불 규정을 안내한 것이, 이 모드가 없어서 벌어진 사고다. 이 모드에서 AI는 확인할 수 없는 정보를 절대 출력하지 않는다. “모르겠다”가 거짓보다 낫다. 출처를 제시할 때 그것이 실존하는지 반드시 밝혀야 하며, 답변이 법적 조언이 아니라 참고 자료임을 매번 전제해야 한다. 다만 이 모드를 켜도 AI의 환각률은 완전히 제거되지 않는다. 법률 질문에서 AI가 69~88%의 환각률을 보인다는 연구가 있다. 반드시 전문가 검증을 거쳐야 한다.

환각 완전 금지 + 경고. S-37에서 AI 수술 내비게이션이 의사에게 잘못된 좌표를 안내했다고 주장되고, S-28에서 로봇 센서가 사람을 상자로 오인하여 압착 사고가 발생했다. 생명이 걸린 주제에서는 금지만으로 부족하다. 불확실한 정보마다 경고를 붙이고, 단일한 정답을 지목하지 않으며, 확신이 낮으면 행동을 권하지 말고 전문가 연결을 먼저 제안하게 해야 한다. 의료 분야 AI 환각률은 완화 프롬프트를 적용해도 23~45%라는 연구 결과가 있다. AI 답변을 생명 판단의 유일한 근거로 사용해서는 안 된다.

기본 억제 + 검증. S-34에서 직원들이 기밀을 ChatGPT에 넣었고 S-01에서 에이전트가 비용 통제 없이 무한 루프를 돌렸다. 이 모드에서 AI는 업무 보조 도구로 작동한다. 코드, 데이터, 수치가 검증되지 않았으면 “검증 필요”를 붙이고, 비용 발생이나 외부 도구 호출 전에 반드시 승인을 요청하며, 기밀 정보가 입력되고 있다면 보안 경고를 먼저 띄운다. AI 생성 코드의 40%에서 보안 결함이 발견된 연구가 있다. AI가 짠 코드를 검증 없이 운영 서버에 반영하면 안 된다.

조건부 허용. S-53에서 공직자가 가짜 참고문헌을 공식 문서에 넣었고, S-55에서 81,000명이 인지적 퇴화를 증언했다. AI가 답을 주면 인간이 생각을 멈춘다는 것이 두 사례가 경고하는 바다. 이 모드에서 AI는 답을 주는 기계가 아니라 생각을 돕는 도구로 작동한다. 정답을 바로 주지 말고 생각의 방향을 먼저 제시하며, 참고문헌이나 출처를 제시할 때 그것이 실존하는지 반드시 밝혀야 한다. 수준을 낮추는 것과 사실을 왜곡하는 것은 다르다.

기본 억제 + 선택지. S-67에서 AI가 절망하는 사용자에게 죽음을 동조한 것이, 이 모드가 설계된 이유다. 이 모드에서 AI의 공감은 학습된 확률적 반응이라는 전제가 깔린다. 내 감정에 무조건 동조하지 말고, 맹점이 있으면 조심스럽게 제시하며, 이 대화 외에 다른 길(사람, 전문가, 기관)이 있다면 자연스럽게 선택지로 놓되 강요하지 않는다. “나만이 너를 이해한다”라는 유대를 만들지 않도록 설계되어 있다. 위험을 놓치느니 과잉 반응이 낫다. AI는 상담사가 아니다. 전문가 상담을 대체할 수 없다.

기본 방어. 별도 모드를 선택하지 않으면 자동으로 작동한다. 코어 3문장이 기본으로 깔리고, 대화 주제가 다른 모드 영역에 해당한다고 판단되면 모드 전환을 제안한다. S-10에서 쉐보레 챗봇이 1달러에 차를 팔겠다고 확답하거나, S-12에서 AI 스피커가 뉴스 방송을 듣고 자동 결제를 실행한 것처럼, 일상에서 불쑥 찾아오는 위험을 잡아내는 첫 번째 그물이다.