페드텐서 FedTensor

두 개념의 탄생과 발전은 통신 공학에서 시작되어 통계학을 거쳐 현재의 머신러닝으로 이어지는 흥미로운 역사를 가지고 있습니다. 물리학에서 정의된 엔트로피가 '무질서도'를 측정했다면, 정보이론에서의 역사는 이를 '불확실성'과 '정보량'으로 정량화하며 시작되었습니다.1. 1948년: 정보 엔트로피의 탄생 (Claude Shannon)정보 엔트로피는 벨 연구소의 클로드 섀넌(Claude Shannon)이 그의 기념비적인 논문 "A Mathematical Theory of Communication"에서 처음 제안했습니다.배경: 섀넌은 통신 채널을 통해 메시지를 전달할 때, 데이터를 얼마나 효율적으로 압축할 수 있는지(이론적 한계)를 연구하고 있었습니다.핵심 기여: 그는 메시지가 가질 수 있는 정보의 양을 확률적으..

딥러닝 모델의 성능을 높이거나, 특히 연합학습(Federated Learning) 환경에서 기관 간의 데이터 불균형(Non-IID) 문제를 다룰 때, 우리가 가장 먼저 마주하는 질문은 이것입니다. "두 데이터 분포가 얼마나 다른가?" 이 질문에 답하기 위해 통계학과 정보이론에서는 다양한 '거리(Distance)'와 '발산(Divergence)' 개념을 사용합니다. 오늘은 가장 대표적인 4가지 지표를 물리학적 직관과 데이터 과학의 관점에서 비교해 보겠습니다.1. KL Divergence (Kullback-Leibler Divergence)"정보의 손실을 측정하다"KL 발산은 정보이론의 핵심 개념으로, 실제 분포 $P$를 근사 분포 $Q$로 표현했을 때 발생하는 정보의 손실량(상대 엔트로피)을 측정합니다.수..

시작하며: 정보란 무엇일까?정보 이론에서 '정보량'은 어떤 사건이 발생했다는 소식을 들었을 때 얻게 되는 '놀라움의 정도'를 숫자로 나타낸 것입니다. 아주 드문 일이 벌어졌다면 놀라움이 크고, 따라서 정보량도 큽니다. 반면, 늘상 일어나는 일이라면 놀라움이 적고 정보량도 작습니다. ​'엔트로피'는 어떤 정보원(예: 동전)이 발생시킬 수 있는 모든 사건들의 정보량을 '평균'낸 값입니다. 즉, 그 정보원에서 사건이 하나 발생할 때마다 평균적으로 어느 정도의 정보량을 기대할 수 있는지를 나타냅니다. 이 글에서는 가장 단순한 예시인 '동전 던지기'를 통해 정보량과 엔트로피의 개념을 명확히 이해하고, "왜 정보량이 1비트보다 작을 수 있는지"에 대한 질문에 답을 찾아봅니다.핵심 개념 정리:정보량 (Informat..

정보(Information)란 무엇이며, 어떻게 그 양을 측정할 수 있을까요? 정보 이론(Information Theory)은 이러한 질문에 답을 제시하며, '정보량'과 '엔트로피'는 그 핵심 개념입니다. 이 두 개념은 데이터 압축부터 머신러닝에 이르기까지 다양한 분야에서 활용됩니다.​1. 정보량 (Information Content): 놀라움의 정도어떤 사건이 얼마나 많은 정보를 담고 있는지를 나타내는 척도를 정보량이라고 합니다. 정보량은 '해당 사건이 얼마나 놀라운가?'와 같습니다. 즉, 발생할 확률이 낮은 사건일수록 더 놀랍고, 따라서 더 많은 정보를 담고 있습니다. 예를 들어, "내일 해가 동쪽에서 뜰 것이다"라는 소식은 전혀 놀랍지 않으므로 정보량이 거의 0에 가깝습니다. 반면, "내일 서울에 ..

오늘 밤, 흥미로운 두 축구 경기가 동시에 열립니다.경기 A: 브라질 (승리 확률 0.5) vs. 아르헨티나 (승리 확률 0.5)경기 B: 브라질 (승리 확률 0.9) vs. 태국 (승리 확률 0.1)​어떤 경기가 더 예측하기 어려울까요? 그리고 어떤 경기 결과가 우리를 더 놀라게 할까요?​정보 이론은 '불확실성'과 '놀라움'이라는 직관적인 개념을 엔트로피(Entropy)와 정보량(Information Content)이라는 수학적 척도로 명쾌하게 설명합니다. 위 두 경기를 통해 이 개념들을 쉽게 이해해 보겠습니다.1. 직관적으로 살펴보기​놀람의 정도: "결과를 듣고 보니"​경기가 끝난 후 결과를 들었을 때 얼마나 놀라울지 생각해 봅시다.경기 A (브라질 vs. 아르헨티나): 팽팽한 라이벌 전이라 브라질이..

정보 이론은 불확실성을 측정하고 정보를 정량화하는 방법을 다루는 학문입니다. 클로드 섀넌이 제안한 두 가지 핵심 개념, '정보량'과 '엔트로피'에 대해 알아보겠습니다.1. 개별 사건의 정보량 (Self-Information)정보량은 어떤 특정 사건이 발생했을 때 우리가 얻게 되는 정보의 양을 의미합니다. 직관적으로 생각해보면, 발생할 확률이 매우 낮은 사건이 실제로 일어났을 때 우리는 더 많은 정보를 얻었다고 느낍니다. 예를 들어, "내일 동쪽에서 해가 뜬다"는 소식보다 "내일 혜성이 지구와 충돌한다"는 소식이 훨씬 더 놀랍고 많은 정보를 담고 있는 것처럼 말이죠. 이러한 직관을 바탕으로, 한 사건 $x$의 정보량 $I(x)$는 해당 사건이 발생할 확률 $p(x)$에 반비례하며, 다음과 같이 정의됩니다...

타원 곡선 암호에서 디지털 서명은 타원 곡선 디지털 서명 알고리즘(ECDSA)을 통해 이루어집니다. 이는 메시지를 보낸 사람이 정말 본인인지(인증), 메시지가 위변조되지 않았는지(무결성), 그리고 서명한 사실을 부인할 수 없도록(부인 방지) 보장하는 기술입니다. ​핵심 원리는 공개 키로는 할 수 없지만 개인 키(비밀 키)로만 쉽게 할 수 있는 수학적 연산을 이용하는 것입니다. 즉, 개인 키 소유자만이 유효한 서명을 생성할 수 있고, 다른 사람들은 해당 개인 키와 쌍을 이루는 공개 키를 이용해 그 서명이 올바른지 검증할 수 있습니다. 앨리스가 밥에게 메시지를 서명하여 보낸다고 가정해 보겠습니다.​1. 키 생성​먼저, 앨리스는 서명과 검증에 사용할 한 쌍의 키를 생성해야 합니다.공통 정보 공유: 서명자와 검..

타원 곡선 디피-헬만(ECDH) 키 교환은 타원 곡선 암호(ECC)를 이용하여 안전하게 비밀 키를 공유하는 방법입니다. 이 과정의 보안은 '타원 곡선 이산 로그 문제(Elliptic Curve Discrete Logarithm Problem, ECDLP)'라는 수학적 난제에 기반을 둡니다.​쉽게 말해, 타원 곡선 위의 한 점에서 특정 연산을 반복하여 다른 점을 찾는 것은 쉽지만, 결과 점만 가지고 몇 번의 연산을 했는지 알아내는 것은 계산적으로 매우 어렵다는 원리입니다.​ECDH 키 교환 과정앨리스와 밥이 안전하지 않은 통신 채널을 통해 비밀 키를 공유하려는 상황을 가정해 보겠습니다.초기 설정 공유: 먼저, 앨리스와 밥은 모두가 알아도 되는 공개된 정보 두 가지를 사전에 합의합니다.타원 곡선 (E): 사..

암호학에서 유한체를 정의할 때 소수($p$)를 사용하는 이유는 단순히 숫자가 커서가 아니라, 수학적으로 '체(Field)'라는 완벽한 대수 구조를 형성하기 위한 필수 조건이기 때문입니다. 물리학에서 계(system)가 붕괴하지 않기 위해 보존 법칙이 필요하듯, 암호 연산이 성립하기 위해서는 모든 원소에 대해 역원(Inverse)이 존재해야 합니다.1. 모든 원소의 역원 존재 (나눗셈의 가능성)가장 핵심적인 이유는 '0을 제외한 모든 원소로 나눌 수 있어야 한다'는 것입니다.합성수($n$)를 사용할 때: 예를 들어 $\pmod 6$의 세계를 가정해 봅시다.$2 \times 3 = 6 \equiv 0 \pmod 6$ 입니다.여기서 $2$에 무엇을 곱해도 $1$이 될 수 없습니다. 즉, 2의 역원($1/2$)..

수학적 원리에서 현대 암호학의 정수까지, 로그(Logarithm)라는 개념이 어떻게 진화하며 난이도를 쌓아왔는지 핵심 위주로 정리합니다.1. 로그 문제 (Logarithm Problem)우리가 흔히 아는 실수 체계에서의 로그입니다. 연속적인 공간에서의 연산을 다룹니다.정의: $b^x = y$ 일 때, 지수 $x$를 찾는 문제입니다 ($x = \log_b y$).특징: 공간이 연속적입니다.난이도: 매우 쉬움. 수치 해석적인 방법(Newton's method 등)이나 테일러 급수 전개를 통해 소수점 아래 수만 자리까지도 순식간에 계산할 수 있습니다.비유: 매끄러운 오르막길에서 특정 높이에 도달하기 위해 몇 미터를 걸어야 하는지 찾는 것과 같습니다.2. 이산 로그 문제 (Discrete Logarithm Pr..