AUC-ROC에서 ROC의 의미와 유래

ROC라는 이름은 현대 AI에서 만들어진 용어가 아니라, 제2차 세계대전 당시 레이더 신호 탐지 이론에서 유래했습니다.

먼저 ROC의 원래 의미

ROC는 Receiver Operating Characteristic의 약자입니다. 여기서

•     Receiver = 레이더 수신기
•     Operating = 수신기를 운용하는 방식(operating condition)
•     Characteristic = 그 운용 조건에서 나타나는 성능 특성

입니다. 즉 "레이더 수신기를 어떤 기준으로 운용했을 때 나타나는 성능 특성"이라는 뜻입니다.

왜 Receiver인가?

옛날 레이더는 신호를 수신(receive)하여 "비행기가 있다" 또는 "노이즈다"를 판단했습니다. 하지만 신호는 항상 애매합니다. 예를 들어 신호 세기가

• 0.21
• 0.53
• 0.81

처럼 들어옵니다. 여기서 "0.5 이상이면 비행기"라고 할 수도 있고 "0.8 이상이면 비행기"라고 할 수도 있습니다. 즉 Receiver가 임계값을 어떻게 설정하느냐에 따라

• 놓치는 비행기(False Negative)
• 잘못 탐지(False Positive)

가 달라집니다.

Operating의 의미

Operating은 사람이 레이더를 직접 조작한다는 의미보다는 수신기의 운용 조건(setting)을 말합니다. 즉 Threshold를

• 0.1 -> 0.2 -> 0.3 -> ... -> 0.9

처럼 바꾸는 것이 Receiver의 operating condition입니다.

Characteristic

Threshold를 계속 바꾸면 매 Threshold마다 TPR, FPR이 하나씩 나옵니다. 이를 모두 연결하면 ROC Curve가 됩니다.

인공지능 관점에서 ROC

용어

원래 신호탐지이론	ML 대응
Receiver (확률을 산출하는 검출 장치 또는 시스템 자체)	AI 모델(분류기) 자신
Operating Level (판정 임계값)	확률 임계값
Observer/Operator (임계값을 고르는 사람)	모델을 평가하는 사람
Operating Characteristic 곡선	ROC 곡선

과정

과정	레이더 운영	AI 모델(분류기) 운영
1	수신기의 운영 특성(ROC) 곡선을 살펴 본다.	AI 모델의 운영 특성(ROC) 곡선을 살펴 본다.
2	운영자는 운영 상황을 고려하여 판정 임계값을 고른다.	운영자는 운영 상황을 고려하여 판정 임계값을 고른다.
3	수신기의 출력 값을 판정 임계값에 따라 분류한다.	AI 모델의 출력 값을 판정 임계값에 따라 분류한다.