FedTensor

시작하며: 정보란 무엇일까?정보 이론에서 '정보량'은 어떤 사건이 발생했다는 소식을 들었을 때 얻게 되는 '놀라움의 정도'를 숫자로 나타낸 것입니다. 아주 드문 일이 벌어졌다면 놀라움이 크고, 따라서 정보량도 큽니다. 반면, 늘상 일어나는 일이라면 놀라움이 적고 정보량도 작습니다. ​'엔트로피'는 어떤 정보원(예: 동전)이 발생시킬 수 있는 모든 사건들의 정보량을 '평균'낸 값입니다. 즉, 그 정보원에서 사건이 하나 발생할 때마다 평균적으로 어느 정도의 정보량을 기대할 수 있는지를 나타냅니다. 이 글에서는 가장 단순한 예시인 '동전 던지기'를 통해 정보량과 엔트로피의 개념을 명확히 이해하고, "왜 정보량이 1비트보다 작을 수 있는지"에 대한 질문에 답을 찾아봅니다.핵심 개념 정리:정보량 (Informat..

정보(Information)란 무엇이며, 어떻게 그 양을 측정할 수 있을까요? 정보 이론(Information Theory)은 이러한 질문에 답을 제시하며, '정보량'과 '엔트로피'는 그 핵심 개념입니다. 이 두 개념은 데이터 압축부터 머신러닝에 이르기까지 다양한 분야에서 활용됩니다.​1. 정보량 (Information Content): 놀라움의 정도어떤 사건이 얼마나 많은 정보를 담고 있는지를 나타내는 척도를 정보량이라고 합니다. 정보량은 '해당 사건이 얼마나 놀라운가?'와 같습니다. 즉, 발생할 확률이 낮은 사건일수록 더 놀랍고, 따라서 더 많은 정보를 담고 있습니다. 예를 들어, "내일 해가 동쪽에서 뜰 것이다"라는 소식은 전혀 놀랍지 않으므로 정보량이 거의 0에 가깝습니다. 반면, "내일 서울에 ..

오늘 밤, 흥미로운 두 축구 경기가 동시에 열립니다.경기 A: 브라질 (승리 확률 0.5) vs. 아르헨티나 (승리 확률 0.5)경기 B: 브라질 (승리 확률 0.9) vs. 태국 (승리 확률 0.1)​어떤 경기가 더 예측하기 어려울까요? 그리고 어떤 경기 결과가 우리를 더 놀라게 할까요?​정보 이론은 '불확실성'과 '놀라움'이라는 직관적인 개념을 엔트로피(Entropy)와 정보량(Information Content)이라는 수학적 척도로 명쾌하게 설명합니다. 위 두 경기를 통해 이 개념들을 쉽게 이해해 보겠습니다.1. 직관적으로 살펴보기​놀람의 정도: "결과를 듣고 보니"​경기가 끝난 후 결과를 들었을 때 얼마나 놀라울지 생각해 봅시다.경기 A (브라질 vs. 아르헨티나): 팽팽한 라이벌 전이라 브라질이..

정보 이론은 불확실성을 측정하고 정보를 정량화하는 방법을 다루는 학문입니다. 클로드 섀넌이 제안한 두 가지 핵심 개념, '정보량'과 '엔트로피'에 대해 알아보겠습니다.1. 개별 사건의 정보량 (Self-Information)정보량은 어떤 특정 사건이 발생했을 때 우리가 얻게 되는 정보의 양을 의미합니다. 직관적으로 생각해보면, 발생할 확률이 매우 낮은 사건이 실제로 일어났을 때 우리는 더 많은 정보를 얻었다고 느낍니다. 예를 들어, "내일 동쪽에서 해가 뜬다"는 소식보다 "내일 혜성이 지구와 충돌한다"는 소식이 훨씬 더 놀랍고 많은 정보를 담고 있는 것처럼 말이죠. 이러한 직관을 바탕으로, 한 사건 $x$의 정보량 $I(x)$는 해당 사건이 발생할 확률 $p(x)$에 반비례하며, 다음과 같이 정의됩니다...