의료 AI는 전문의를 이길 수 있는가: 진단 성능 검증의 세 단계

의료 인공지능 모델을 개발하다 보면 반드시 마주치는 질문이 있습니다. "이 모델이 정말로 잘 진단하는가?"라는 질문입니다. 이 질문에 답하기 위해서는 단순히 AUC 숫자 하나를 보여주는 것으로는 충분하지 않습니다. 신뢰할 수 있는 정답(ground truth)을 어떻게 확보했는지, 여러 모델을 어떻게 공정하게 비교했는지, 그리고 최종적으로 사람 전문가와 어떻게 견줄 것인지까지 체계적인 절차가 필요합니다.

이 글에서는 의료 AI 진단 성능을 검증하는 과정을 세 단계로 나누어 설명합니다.

• 전문의 집단의 맹검 진단
• 여러 AI 모델 간 성능 비교 (AUC-ROC)
• 최적 AI 모델과 전문의의 직접 비교

1단계: 전문의 집단의 맹검 진단: 신뢰할 수 있는 정답 만들기

AI의 성능을 평가하려면 가장 먼저 '신뢰할 수 있는 정답지(Ground Truth)'가 필요합니다. 하지만 의료 데이터(CT, MRI, 조직 병리 영상 등)는 의사 개인의 주관이나 숙련도, 당일의 피로도에 따라 판독 결과가 달라질 수 있습니다. 단 한 명의 의사가 내린 진단을 정답으로 삼는다면, AI는 그 의사의 개인적인 오류나 편향까지 학습하게 됩니다.

 

이 문제를 해결하기 위해 도입하는 것이 '전문의 집단의 맹검 진단(Consensus Ground Truth)'입니다.

 

맹검 설계의 핵심 요소

• 다수 판독자 구성: 최소 3인 이상, 가능하다면 5인 이상의 전문의가 독립적으로 판독하도록 구성합니다. 홀수로 구성하면 다수결 정답을 만들 때 동수 상황을 피할 수 있습니다.
• 맹검(blinding): 판독자는 환자의 임상 경과, 최종 결과, 다른 판독자의 판단을 알 수 없어야 합니다. 결과를 알고 판독하면 사후 확신 편향(hindsight bias)이 개입해 정답의 신뢰도가 오염됩니다.
• 판독 순서 무작위화: 같은 판독자에게도 케이스 순서를 무작위로 제시해, 학습 효과나 피로 효과가 특정 케이스에 체계적으로 영향을 주지 않도록 합니다.
• 판독자 간 일치도 사전 측정: 본 연구에 들어가기 전 파일럿 데이터셋으로 kappa 값을 측정해, 판독 가이드라인이나 기준을 보정합니다.
  • CTG 판독의 경우 판독자 간 일치도(inter-rater agreement)가 코호트에 따라 Cohen's kappa 0.4~0.6 수준으로 낮게 보고되는 경우가 흔합니다. 
• 불일치 사례의 처리 규칙 사전 확정: 다수결로 정할지, 만장일치 사례만 채택할지, 불일치 시 별도 위원회 논의를 거칠지 등을 연구 프로토콜에 미리 명시합니다. 데이터를 본 뒤에 규칙을 정하면 편향이 생깁니다.
  • 다수결 (Majority Voting)
  • 합의 회의 (Consensus Meeting)
  • 최고 권위 전문의의 최종 판정

이렇게 도출된 결과는 AI가 환자(Positive, 1)와 정상인(Negative, 0)을 얼마나 잘 맞추는지 평가하는 '이진(Binary) 정답 데이터셋'이 됩니다.

2단계: 여러 AI 모델 간 성능 비교 (AUC-ROC)

정답이 준비되면 다양한 AI 모델을 동일한 데이터셋에서 평가합니다. 이때 가장 많이 사용하는 지표가 바로 AUC-ROC입니다.

 

AI 모델은 의사처럼 "질환 있음/없음"을 딱 잘라 말하지 않고, '질환이 있을 확률(0~1 사이의 연속적인 값)'을 출력합니다. 이 확률을 바탕으로 판정 기준(임계값, Threshold)을 아주 촘촘하게 변화시키면서, 앞서 전문의 집단이 만든 정답과 비교해 그래프를 그립니다.

• Y축 (민감도): 진짜 환자 중 AI가 환자라고 맞춘 비율 (진양성률, True Positive Rate, TPR)
• X축 (1-특이도): 정상인 중 AI가 환자라고 오진한 비율 (위양성률, False Positive Rate, FPR)

임계값의 변화에 따라 그려지는 이 매끄러운 곡선이 ROC 곡선(수신자 조작 특성 곡선, Receiver Operating Characteristic Curve)이며, 곡선 아래의 면적이 바로 AUC(Area Under the Curve)입니다.

• TPR을 높이기 위해 판정 기준을 낮추면 FPR도 높아지는 경향이 있습니다. 따라서 TPR을 높이더라도 FPR이 높아지는 속도를 감소시키는 것이 모델의 분별력을 개선시키는 것입니다. 이러한 개선 효과가 AUC의 증가로 나타납니다.

AUC 값에 대해 일반적으로

• 0.50: 무작위 추측 수준
• 0.70 이상: 보통
• 0.80 이상: 우수
• 0.90 이상: 매우 우수

정도로 해석합니다.

 AI 모델 간의 성능 비교 원리

두 AI 모델(모델 A, 모델 B)의 기술적 우위를 비교할 때는 두 모델의 AUC 값 자체를 직접 비교합니다. 예를 들어, 동일한 데이터셋에서 모델 A의 AUC가 0.95이고 모델 B의 AUC가 0.91이라면 모델 A가 환자와 정상을 골라내는 분별력이 통계적으로 더 우수하다고 판단합니다. 이 과정에서 인간 의사의 판독 점수는 개입하지 않으며, 오직 알고리즘 자체의 변별력만을 수학적으로 검증(DeLong's test 등)합니다.

AUC-ROC를 쓰는 이유와 한계

AUC-ROC는 분류 임계값에 무관하게 모델의 전체적인 판별력을 보여준다는 장점이 있습니다. 하지만 다음 사항을 놓치면 잘못된 결론에 이르기 쉽습니다.

• 클래스 불균형: 양성 비율이 매우 낮은 문제에서는 AUC-ROC만으로 충분치 않습니다. Precision-Recall AUC(AUPRC)를 함께 보고해야 실제 임상적 유용성을 가늠할 수 있습니다.
• 동일한 train/test split, 동일한 feature set: 모델 간 비교가 공정하려면 같은 데이터 분할, 같은 전처리, 같은 feature engineering을 적용해야 합니다. 그렇지 않으면 "모델의 우수성"이 아니라 "전처리 차이"를 비교하는 꼴이 됩니다.
• 교차검증과 신뢰구간: 단일 test set의 점추정치만 보고하면 표본 변동에 취약합니다. k-fold 교차검증이나 bootstrap을 통해 AUC의 신뢰구간을 함께 제시해야 합니다.
• 통계적으로 유의한 차이인지 검증: 두 모델의 AUC 값이 0.73과 0.69처럼 차이가 나도, 그 차이가 통계적으로 의미 있는지는 별도로 검증해야 합니다. 같은 test set에서 나온 두 ROC 곡선을 비교할 때는 DeLong's test가 표준적으로 쓰입니다.

3단계: 최적 AI 모델과 전문의의 직접 비교

가장 성능이 좋은 모델을 골랐다면, 마지막 단계는 그 모델을 사람 전문의와 직접 비교하는 것입니다. 이 단계는 규제기관 심사나 임상 도입 논의에서 핵심 증거로 쓰이기 때문에 설계가 특히 중요합니다.

비교 설계의 원칙

1. 동일한 정답, 동일한 입력: 1단계에서 만든 맹검 다수결 정답을 AI와 전문의 모두에게 동일하게 적용합니다. AI는 학습에 사용되지 않은 독립된 hold-out set에서만 평가합니다.
2. 전문의 개인별 성능과 AI 성능을 함께 제시: 전문의 집단의 평균 성능뿐 아니라, 개인별 sensitivity/specificity의 분포를 함께 보여줘야 합니다. AI가 "평균적인 전문의"보다 나은 것과 "가장 뛰어난 전문의"보다 나은 것은 임상적으로 전혀 다른 의미를 가집니다.
3. Reader study 설계 참고: 영상의학 분야에서 발전한 MRMC(multi-reader multi-case) 설계를 참고할 만합니다. 여러 판독자가 여러 케이스를 판독하는 구조에서 판독자 간, 케이스 간 분산을 모두 고려한 통계 모델(Obuchowski-Rockette 방법 등)을 적용하면, "이 결과가 특정 판독자나 특정 케이스 조합에 우연히 좌우된 것이 아닌지"를 통계적으로 검증할 수 있습니다.
4. AI 보조 시나리오도 함께 평가: AI 단독 성능뿐 아니라, "전문의가 AI 판독 결과를 참고해 최종 판단을 내리는" 보조 시나리오(AI-assisted reading)의 성능도 별도로 측정하는 것이 실제 임상 도입 관점에서 더 의미 있는 경우가 많습니다. AI 단독 성능이 전문의보다 낮더라도, AI가 보조적으로 개입했을 때 전체 판독 성능이 향상된다면 그것이 실질적인 임상적 가치입니다.
5. 비교 지표의 다양화: AUC-ROC 외에도 민감도·특이도를 특정 임상적으로 허용 가능한 지점(예: false negative를 최소화해야 하는 임계값)에 고정한 상태에서 비교하는 것이 실제 임상 의사결정과 더 가깝습니다.

의사의 성적을 점으로 다루는 경우

여기서 많은 분이 '전문의들의 성적(점)을 모아서 또 다른 AUC 곡선(듬성 듬성 찍힌 점들)을 만들고 AI의 AUC 곡선과 비교한다'고 생각하기 쉽지만, 이는 사실과 다릅니다.

• 의사는 '점'이고, AI는 '곡선'입니다. 인간 의사는 영상을 보고 "양성" 또는 "음성"이라는 단일 결정을 내리기 때문에, 특정 민감도와 위양성률을 가진 ROC 평면 위의 '단 하나의 고정된 점'으로만 찍힙니다. 반면 AI는 '질환이 있을 확률'을 출력하므로 임계값을 조절함에 따라 '연속된 곡선'으로 표현할 수 있습니다.

올바른 임상적 비교 방법

분석 방식	시각적 표현	임상적 해석 방법
AI의 ROC 곡선 위에 전문의들의 점(•)을 표시	점들이 AI 곡선 아래쪽에 위치	동등한 오진율(X축) 대비 AI의 민감도(Y축)가 더 높으므로, "AI의 판별 능력이 전문의보다 우수하다"고 판정
	점들이 AI 곡선 위쪽에 위치	아직은 "AI가 인간 전문의의 숙련도를 넘어서지 못했다"고 판단

의사의 AUC를 말하는 경우

전문의들의 성적을 AI의 AUC와 직접 비교하기 위하여 다음과 같이 여러 가지 방법을 사용할 수 있습니다.

① 가장 흔한 방법: 확신 점수를 받는다.

전문의에게 "이 환자가 병적일 가능성을 0~100%로 표시하세요." 또는 5점 척도로

• Definitely normal
• Probably normal
• Equivocal
• Probably abnormal
• Definitely abnormal

처럼 답하게 합니다.

 

이 점수 자체가 AI의 확률값과 같은 역할을 합니다. 임계값을 계속 바꿀 수 있으므로 ROC를 만들 수 있습니다.

 

 -> 한 명이 하나의 ROC 곡선을 생성하고 AUC 계산

② 여러 명의 의사의 합의 확률

예를 들어 전문의 10명이 판독했는데 8명이 양성, 2명이 음성이라면 80%라는 집단 확률을 만들 수도 있습니다. 이 역시 ROC를 만들 수 있습니다.

 

-> 여러 명이 하나의 ROC 곡선을 생성하고 AUC 계산

③ 다중 판독자-다중 증례 (Multi-Reader Multi-Case, MRMC)

영상의학 AI 논문에서 가장 많이 사용하는 방식입니다. 

 

예를 들어 20명의 영상의학 전문의가 각 환자마다 1~5점 또는 1~100점을 부여합니다. 그 후 각 의사의 ROC를 만들고 각 의사의 AUC를 계산합니다. 마지막에는 AI와 의사 집단의 평균 AUC를 비교합니다.

 

이 방식은 다중 판독자-다중 증례(Multi-Reader Multi-Case, MRMC) 연구 설계로 잘 알려져 있으며, 의료 AI 성능 비교의 표준적인 접근법 중 하나입니다.

 

 -> 각자 ROC 곡선을 만들어 AUC 계산하고 의사 집단의 평균 AUC 계산

 

전문의를 "이겼다"는 주장에 신중해야 하는 이유

AI 모델이 전문의 집단의 다수결 정답과 더 높은 일치도를 보인다고 해서 곧바로 "AI가 전문의보다 우수하다"고 결론짓는 것은 성급합니다. 다수결 정답 자체가 이미 전문의들의 판단으로 구성되어 있기 때문에, 이 비교는 본질적으로 "개별 전문의 대 전문의 집단의 합의"에 가깝습니다. 진짜 의미 있는 검증은 실제 신생아 예후(제대동맥혈 pH, 산증 진단 등)라는 독립적인 outcome을 기준으로, AI와 전문의 각각이 그 outcome을 얼마나 잘 예측하는지를 비교하는 것입니다. 여기서 임상 개입 confounding 문제가 그림자를 드리웁니다. 관찰된 outcome 자체가 임상 개입에 의해 왜곡되어 있다면, "누가 outcome을 더 잘 맞췄는가"라는 질문도 그 왜곡을 함께 상속받기 때문입니다.

요약

의료 AI 성능 평가의 정석은 다음과 같은 계층 구조를 가집니다.

1. 전문의 집단의 맹검 진단을 통해 오염되지 않은 '최종 정답'을 정의하고,
2. 이 정답을 기준으로 AI 모델 간의 AUC 값을 직접 비교하여 가장 똑똑한 알고리즘을 선별한 뒤,
3. 그 최적의 AI가 그린 ROC 곡선 위에 임상 의사들의 점(Point)을 올려놓음으로써 AI의 실전 유용성을 증명합니다.

맺으며

의료 AI의 진단 성능을 검증하는 일은 숫자 하나로 끝나지 않습니다. 신뢰할 수 있는 정답을 만드는 일(맹검 다수 판독), 여러 모델을 공정하게 비교하는 일(통계적으로 유의한 AUC 비교), 그리고 최종적으로 사람과 견주는 일(MRMC 설계와 outcome 기반 검증) 각각에 고유한 함정이 있습니다. 이 세 단계를 순서대로 촘촘하게 설계하지 않으면, 겉보기에 인상적인 AUC 값이 실제 임상 현장에서는 무의미하거나 심지어 오해를 낳는 숫자가 될 수 있습니다. 특히 임상 개입이 이미 반영된 과거 데이터를 사용하는 이상, 인과추론적 관점에서 이 한계를 명시적으로 인정하고 다루는 것이야말로 다음 단계로 나아가기 위한 출발점입니다.