페드텐서 FedTensor

'공격 벡터'에서 '벡터(vector)' 라는 단어를 사용하는 이유는 이 단어가 가진 '방향과 경로를 통해 무언가를 전달하는 매개체' 라는 핵심 의미 때문입니다. 이는 주로 생물학과 수학/물리학에서 유래한 비유입니다.1. 생물학적 비유 (질병의 전파)​가장 강력한 비유는 생물학의 '매개체(vector)'입니다.생물학에서 벡터란? 말라리아를 옮기는 모기처럼, 병원균을 한 숙주에서 다른 숙주로 옮기는 생물을 의미합니다. 모기 자체가 질병은 아니지만, 질병을 전달하는 경로이자 수단이 됩니다.사이버 보안의 적용: 이와 마찬가지로, 피싱 이메일은 악성코드라는 '병원균(pathogen)'을 공격자로부터 사용자 컴퓨터라는 '숙주(host)'로 전달하는 '공격 벡터'가 됩니다. 이메일 자체가 해킹은 아니지만, 해킹을 ..

연합학습(Federated Learning)의 최대 난제는 각 로컬 기관(Client)의 데이터가 서로 다른 분포를 가지는 Non-IID(Not Identically and Independently Distributed) 특성을 띈다는 점입니다. 이를 해결하기 위해 KL 발산(Kullback-Leibler Divergence)을 활용하여 데이터 이질성을 정량화하고 적합한 학습 전략, 또는 병합 전략을 선택할 수 있습니다.1. 수학적 배경: KL-Divergence와 데이터 분포KL-Divergence는 두 확률분포 $P$와 $Q$ 사이의 차이를 측정하는 지표입니다. 물리학의 엔트로피 개념과 밀접한 관련이 있으며, 정보이론에서는 '실제 분포 $P$를 근사 분포 $Q$로 모델링했을 때 발생하는 정보 손실량'..

AI가 연구실을 넘어 실제 의료 현장으로 향할 때최근 의료 AI 기술은 비약적인 발전을 거듭하고 있지만, 실제 임상 현장에 도입되어 상용화되기까지는 넘어야 할 높은 벽들이 존재합니다. 단순히 데이터의 정확도를 높이는 것을 넘어, 의료진이 신뢰할 수 있는 근거를 제시하고 민감한 정보를 안전하게 보호하며 기존 병원 시스템에 자연스럽게 녹아드는 '실용적 전략'이 무엇보다 중요해진 시점입니다. 오늘은 의료 AI가 연구실을 넘어 실제 병원에서 활발히 쓰이기 위한 5대 핵심 상용화 로드맵을 정리해 보았습니다.의료 AI 상용화 핵심 요건 및 상세 구현 전략요건 분류핵심 가치상세 내용 및 구현 방안 (상용화 전략)1. 다기관 협업 기반 고성능 모델 확보데이터 보호와 활용의 딜레마 해결민감한 의료 데이터를 외부로 반출하..

쿨백-라이블러(Kullback-Leibler) 발산(이하, KL 발산)의 정의는 다음과 같습니다.$$D_{KL}(P \| Q) = \sum_{i} P(x_i) \log \frac{P(x_i)}{Q(x_i)}$$$x_i$: 개별 사건$P(x_i)$: 실제에 기반하여 계산한 사건 $x_i$의 발생 확률$Q(x_i)$: 가설에 기반하여 계산한 사건 $x_i$의 발생 확률$D_{KL}(P\|Q)$: 가설을 사용하여 실제 사건의 발생 확률을 계산할 때 생기는 비효율의 척도이해를 돕기 위하여 찌그러진 동전을 예로 설명해 보겠습니다.실제: 앞면이 나올 확률 0.8, 뒷면이 나올 확률 0.2가설: 앞면이 나올 확률 0.2, 뒷면이 나올 확률 0.8이 값들로부터 KL 발산을 구한 결과는 다음과 같습니다.앞면에 의한 $D..

1. 두 개념의 관계: KL Divergence두 개념을 연결하는 핵심 고리는 쿨백-라이블러 발산 (Kullback-Leibler Divergence, $D_{KL}$)입니다. $D_{KL}$은 두 분포 $P$와 $Q$가 얼마나 다른지를 측정하는 '거리'와 유사한 개념입니다. 이들의 관계는 다음의 핵심 공식으로 표현됩니다.$$H(P, Q) = H(P) + D_{KL}(P || Q)$$ 이 공식을 풀어서 해석하면 다음과 같습니다.$H(P, Q)$ (교차 엔트로피): 모델($Q$)을 사용해 실제($P$)를 설명하는 데 드는 총 비용(Loss).$H(P)$ (정보 엔트로피): 실제($P$)가 본질적으로 가진 불확실성. (이론적인 최소 비용)$D_{KL}(P || Q)$ (KL 발산): 모델($Q$)이 실제($..

두 개념의 탄생과 발전은 통신 공학에서 시작되어 통계학을 거쳐 현재의 머신러닝으로 이어지는 흥미로운 역사를 가지고 있습니다. 물리학에서 정의된 엔트로피가 '무질서도'를 측정했다면, 정보이론에서의 역사는 이를 '불확실성'과 '정보량'으로 정량화하며 시작되었습니다.1. 1948년: 정보 엔트로피의 탄생 (Claude Shannon)정보 엔트로피는 벨 연구소의 클로드 섀넌(Claude Shannon)이 그의 기념비적인 논문 "A Mathematical Theory of Communication"에서 처음 제안했습니다.배경: 섀넌은 통신 채널을 통해 메시지를 전달할 때, 데이터를 얼마나 효율적으로 압축할 수 있는지(이론적 한계)를 연구하고 있었습니다.핵심 기여: 그는 메시지가 가질 수 있는 정보의 양을 확률적으..

딥러닝 모델의 성능을 높이거나, 특히 연합학습(Federated Learning) 환경에서 기관 간의 데이터 불균형(Non-IID) 문제를 다룰 때, 우리가 가장 먼저 마주하는 질문은 이것입니다. "두 데이터 분포가 얼마나 다른가?" 이 질문에 답하기 위해 통계학과 정보이론에서는 다양한 '거리(Distance)'와 '발산(Divergence)' 개념을 사용합니다. 오늘은 가장 대표적인 4가지 지표를 물리학적 직관과 데이터 과학의 관점에서 비교해 보겠습니다.1. KL Divergence (Kullback-Leibler Divergence)"정보의 손실을 측정하다"KL 발산은 정보이론의 핵심 개념으로, 실제 분포 $P$를 근사 분포 $Q$로 표현했을 때 발생하는 정보의 손실량(상대 엔트로피)을 측정합니다.수..

시작하며: 정보란 무엇일까?정보 이론에서 '정보량'은 어떤 사건이 발생했다는 소식을 들었을 때 얻게 되는 '놀라움의 정도'를 숫자로 나타낸 것입니다. 아주 드문 일이 벌어졌다면 놀라움이 크고, 따라서 정보량도 큽니다. 반면, 늘상 일어나는 일이라면 놀라움이 적고 정보량도 작습니다. ​'엔트로피'는 어떤 정보원(예: 동전)이 발생시킬 수 있는 모든 사건들의 정보량을 '평균'낸 값입니다. 즉, 그 정보원에서 사건이 하나 발생할 때마다 평균적으로 어느 정도의 정보량을 기대할 수 있는지를 나타냅니다. 이 글에서는 가장 단순한 예시인 '동전 던지기'를 통해 정보량과 엔트로피의 개념을 명확히 이해하고, "왜 정보량이 1비트보다 작을 수 있는지"에 대한 질문에 답을 찾아봅니다.핵심 개념 정리:정보량 (Informat..

정보(Information)란 무엇이며, 어떻게 그 양을 측정할 수 있을까요? 정보 이론(Information Theory)은 이러한 질문에 답을 제시하며, '정보량'과 '엔트로피'는 그 핵심 개념입니다. 이 두 개념은 데이터 압축부터 머신러닝에 이르기까지 다양한 분야에서 활용됩니다.​1. 정보량 (Information Content): 놀라움의 정도어떤 사건이 얼마나 많은 정보를 담고 있는지를 나타내는 척도를 정보량이라고 합니다. 정보량은 '해당 사건이 얼마나 놀라운가?'와 같습니다. 즉, 발생할 확률이 낮은 사건일수록 더 놀랍고, 따라서 더 많은 정보를 담고 있습니다. 예를 들어, "내일 해가 동쪽에서 뜰 것이다"라는 소식은 전혀 놀랍지 않으므로 정보량이 거의 0에 가깝습니다. 반면, "내일 서울에 ..

오늘 밤, 흥미로운 두 축구 경기가 동시에 열립니다.경기 A: 브라질 (승리 확률 0.5) vs. 아르헨티나 (승리 확률 0.5)경기 B: 브라질 (승리 확률 0.9) vs. 태국 (승리 확률 0.1)​어떤 경기가 더 예측하기 어려울까요? 그리고 어떤 경기 결과가 우리를 더 놀라게 할까요?​정보 이론은 '불확실성'과 '놀라움'이라는 직관적인 개념을 엔트로피(Entropy)와 정보량(Information Content)이라는 수학적 척도로 명쾌하게 설명합니다. 위 두 경기를 통해 이 개념들을 쉽게 이해해 보겠습니다.1. 직관적으로 살펴보기​놀람의 정도: "결과를 듣고 보니"​경기가 끝난 후 결과를 들었을 때 얼마나 놀라울지 생각해 봅시다.경기 A (브라질 vs. 아르헨티나): 팽팽한 라이벌 전이라 브라질이..