정보 이론은 불확실성을 측정하고 정보를 정량화하는 방법을 다루는 학문입니다. 클로드 섀넌이 제안한 두 가지 핵심 개념, '정보량'과 '엔트로피'에 대해 알아보겠습니다.1. 개별 사건의 정보량 (Self-Information)정보량은 어떤 특정 사건이 발생했을 때 우리가 얻게 되는 정보의 양을 의미합니다. 직관적으로 생각해보면, 발생할 확률이 매우 낮은 사건이 실제로 일어났을 때 우리는 더 많은 정보를 얻었다고 느낍니다. 예를 들어, "내일 동쪽에서 해가 뜬다"는 소식보다 "내일 혜성이 지구와 충돌한다"는 소식이 훨씬 더 놀랍고 많은 정보를 담고 있는 것처럼 말이죠. 이러한 직관을 바탕으로, 한 사건 $x$의 정보량 $I(x)$는 해당 사건이 발생할 확률 $p(x)$에 반비례하며, 다음과 같이 정의됩니다...