FedTensor

쿨백-라이블러(Kullback-Leibler) 발산(이하, KL 발산)의 정의는 다음과 같습니다.$$D_{KL}(P \| Q) = \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)}$$$x_i$: 개별 사건$P(x_i)$: 실제에 기반하여 계산한 사건 $x_i$의 발생 확률$Q(x_i)$: 가설에 기반하여 계산한 사건 $x_i$의 발생 확률$D_{KL}(P\|Q)$: 가설을 사용하여 실제 사건의 발생 확률을 계산할 때 생기는 비효율의 척도이해를 돕기 위하여 찌그러진 동전을 예로 설명해 보겠습니다.실제: 앞면이 나올 확률 0.8, 뒷면이 나올 확률 0.2가설: 앞면이 나올 확률 0.2, 뒷면이 나올 확률 0.8이 값들로부터 KL 발산을 구한 결과는 다음과 같습니다.앞면에 의한 $D..

1. 두 개념의 관계: KL Divergence두 개념을 연결하는 핵심 고리는 쿨백-라이블러 발산 (Kullback-Leibler Divergence, $D_{KL}$)입니다. $D_{KL}$은 두 분포 $P$와 $Q$가 얼마나 다른지를 측정하는 '거리'와 유사한 개념입니다. 이들의 관계는 다음의 핵심 공식으로 표현됩니다.$$H(P, Q) = H(P) + D_{KL}(P || Q)$$ 이 공식을 풀어서 해석하면 다음과 같습니다.$H(P, Q)$ (교차 엔트로피): 모델($Q$)을 사용해 실제($P$)를 설명하는 데 드는 총 비용(Loss).$H(P)$ (정보 엔트로피): 실제($P$)가 본질적으로 가진 불확실성. (이론적인 최소 비용)$D_{KL}(P || Q)$ (KL 발산): 모델($Q$)이 실제($..

두 개념의 탄생과 발전은 통신 공학에서 시작되어 통계학을 거쳐 현재의 머신러닝으로 이어지는 흥미로운 역사를 가지고 있습니다. 물리학에서 정의된 엔트로피가 '무질서도'를 측정했다면, 정보이론에서의 역사는 이를 '불확실성'과 '정보량'으로 정량화하며 시작되었습니다.1. 1948년: 정보 엔트로피의 탄생 (Claude Shannon)정보 엔트로피는 벨 연구소의 클로드 섀넌(Claude Shannon)이 그의 기념비적인 논문 "A Mathematical Theory of Communication"에서 처음 제안했습니다.배경: 섀넌은 통신 채널을 통해 메시지를 전달할 때, 데이터를 얼마나 효율적으로 압축할 수 있는지(이론적 한계)를 연구하고 있었습니다.핵심 기여: 그는 메시지가 가질 수 있는 정보의 양을 확률적으..