인공지능/평가지표 3

mAP(mean Average Precision)

mAP(mean Average Precision)는 객체 탐지(Object Detection) 모델의 성능을 평가하는 가장 표준적이고 중요한 지표입니다. 간단히 말해, 모델이 이미지 내의 여러 객체들을 '얼마나 정확하게(Precision)' 그리고 '얼마나 빠짐없이(Recall)' 찾아내는지를 하나의 숫자로 요약한 값입니다. mAP를 이해하기 위해서는 네 가지 구성 요소(IoU, Precision/Recall, AP, mAP)를 순서대로 이해해야 합니다.1. IoU (Intersection over Union) 가장 기본이 되는 개념입니다. 모델이 예측한 박스(Predicted Box)가 실제 정답 박스(Ground Truth Box)와 얼마나 겹치는지를 측정합니다.계산식: 두 박스의 교집합 영역을 합집..

혼동 행렬과 성능 평가 지표

혼동 행렬(Confusion Matrix)진단 장비의 성능을 파악하기 위하여 질병의 유무를 알고 있는 사람들을 대상으로 진단을 수행하고 아래와 같이 혼동 행렬을 작성합니다.A: 진양성(True Positive) 수B: 위양성(False Positive, 1종 오류) 수C: 위음성(False Negative, 2종 오류) 수D: 진음성(True Negative) 수용어의 의미'혼동 행렬'이라는 용어는 그 기능에서 직접 유래했습니다. 이 행렬은 분류 모델이 각 클래스(범주)를 얼마나 '혼동(confuse)'하는지를 한눈에 보여주기 때문입니다.즉, 모델의 예측이 얼마나 헷갈렸는지를 시각적으로 표현한 표입니다.'혼동'의 주체: 모델 (또는 분류기) '혼동'의 내용: 하나의 클래스(실제 값)를 다른 클래스(예측 ..

혼란도(Perplexity, PPL)

혼란도는 언어 모델(LM)이 텍스트를 얼마나 잘 예측하는지 측정하는 표준 지표입니다. 이름 그대로, 모델이 특정 단어 시퀀스(문장)를 보고 얼마나 '당황했는지' 또는 '혼란스러워했는지'를 수치화한 것입니다.PPL이 낮을수록 (Less perplexed) 모델이 해당 텍스트의 구조를 잘 이해하고 다음 단어를 높은 확률로 정확하게 예측했다는 의미입니다. (성능이 좋음)PPL이 높을수록 (More perplexed) 모델이 해당 텍스트를 예측하는 데 어려움을 겪었으며, 실제 정답 단어에 매우 낮은 확률을 할당했다는 의미입니다. (성능이 나쁨)1. 직관적인 이해: "평균적인 선택지의 개수"PPL을 가장 쉽게 이해하는 방법은 "모델이 다음 단어를 예측할 때 평균적으로 느끼는 유효한 선택지의 개수"라고 생각하는 것..