1. 두 개념의 관계: KL Divergence두 개념을 연결하는 핵심 고리는 쿨백-라이블러 발산 (Kullback-Leibler Divergence, $D_{KL}$)입니다. $D_{KL}$은 두 분포 $P$와 $Q$가 얼마나 다른지를 측정하는 '거리'와 유사한 개념입니다. 이들의 관계는 다음의 핵심 공식으로 표현됩니다.$$H(P, Q) = H(P) + D_{KL}(P || Q)$$ 이 공식을 풀어서 해석하면 다음과 같습니다.$H(P, Q)$ (교차 엔트로피): 모델($Q$)을 사용해 실제($P$)를 설명하는 데 드는 총 비용(Loss).$H(P)$ (정보 엔트로피): 실제($P$)가 본질적으로 가진 불확실성. (이론적인 최소 비용)$D_{KL}(P || Q)$ (KL 발산): 모델($Q$)이 실제($..