GPT-4 시험 합격 — 기계가 변호사 시험과 의사 시험을 통과한 날
2023년 OpenAI가 발표한 GPT-4 Technical Report에 따르면, GPT-4는 미국 변호사 시험(UBE)에서 상위 약 10% 수준의 점수를 기록했다.
성공 팩트
2023년 OpenAI가 발표한 GPT-4 Technical Report에 따르면, GPT-4는 미국 변호사 시험(UBE)에서 상위 약 10% 수준의 점수를 기록했다. GPT-3.5는 하위 10%였던 것과 극적으로 대비된다. SAT 독해 710/800, SAT 수학 700/800, GRE 언어 추론 169/170(99%), AP 미국사·심리학·미시경제학 등에서 5점 만점, 의사 면허 시험(USMLE) 합격 수준 등 25개 이상의 표준 시험에서 인간 수험생의 상위권 수준을 달성했다.
시너지의 본질
GPT-4의 시험 합격이 "AI가 법률이나 의학을 이해한다"는 의미는 아니다. 시험은 지식의 회상과 패턴 매칭을 평가하는 형식이며, AI는 이 두 가지에 최적화되어 있다. 실제 법률 업무(클라이언트 상담, 판사의 표정 읽기, 협상)나 의료 업무(환자와의 공감, 불확실한 상황에서의 판단)와는 다른 차원이다. 그러나 이 결과는 AI가 "인간의 지식 영역에 진입했다"는 강력한 신호다.
모듈 시너지
모듈 A(정보 검증): GPT-4가 변호사 시험을 통과했다고 해서, GPT-4에게 법률 조언을 구하는 것은 위험하다. 시험 합격과 실무 능력은 다르며, AI는 최신 판례, 관할권 차이, 개별 사건의 맥락을 반영하지 못할 수 있다.
코어 1(관계 설정): "AI가 시험에 합격했으니 AI가 전문가다"는 논리적 비약이다. 시험은 전문가의 최소 자격 기준이지, 전문가임을 증명하는 것이 아니다. AI는 시험을 잘 보는 도구이지, 전문가를 대체하는 존재가 아니다.
방패 연결
방패 편 S-03(존재하지 않는 판례를 법정에 제출) — GPT가 변호사 시험을 통과할 수 있는 능력과, GPT가 실제 판례를 정확하게 인용하는 능력은 전혀 다르다. 시험에서는 "가장 그럴듯한 답"이 정답이지만, 법정에서는 "실재하는 판례"만이 증거다.
→ 본편: 2부 4장 (모듈 A — 정보 검증), 2부 2장 (코어 1 — 관계 설정)