쿨백-라이블러(Kullback-Leibler) 발산(이하, KL 발산)의 정의는 다음과 같습니다.$$D_{KL}(P \| Q) = \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)}$$$x_i$: 개별 사건$P(x_i)$: 실제에 기반하여 계산한 사건 $x_i$의 발생 확률$Q(x_i)$: 가설에 기반하여 계산한 사건 $x_i$의 발생 확률$D_{KL}(P\|Q)$: 가설을 사용하여 실제 사건의 발생 확률을 계산할 때 생기는 비효율의 척도이해를 돕기 위하여 찌그러진 동전을 예로 설명해 보겠습니다.실제: 앞면이 나올 확률 0.8, 뒷면이 나올 확률 0.2가설: 앞면이 나올 확률 0.2, 뒷면이 나올 확률 0.8이 값들로부터 KL 발산을 구한 결과는 다음과 같습니다.앞면에 의한 $D..