페드텐서 FedTensor

1. 에타 제곱 ($\eta^2$, Eta-squared)에타 제곱은 주로 분산분석(ANOVA)에서 사용되는 지표로, 독립 변수가 종속 변수의 전체 분산 중 얼마만큼을 설명하는지를 나타냅니다.① 직관적 의미"전체 변동 중에서 우리가 관심 있는 요인(집단 간 차이)이 차지하는 비중이 얼마나 되는가?"를 의미합니다. 예를 들어, 세 가지 다른 학습법이 성적에 미치는 영향을 조사할 때, 성적 차이(분산)가 발생한 원인 중 '학습법의 차이' 때문에 발생한 비율이 바로 $\eta^2$입니다.② 수식$$\eta^2 = \frac{SS_{between}}{SS_{total}}$$$SS_{between}$ (Sum of Squares Between groups): 집단 간 제곱합 (집단 간의 차이로 인한 변동)$SS_..

머신러닝과 통계학에서 비지도학습의 끝판왕 중 하나로 꼽히는 DP-GMM(디리클레 과정 가우시안 혼합 모델)은 데이터에 맞춰 스스로 군집의 개수를 증감시키는 정교한 통계 모델입니다. 이 거대한 아키텍처는 하늘에서 불쑥 떨어진 것이 아닙니다. 고등학교 수준의 표준 정규분포라는 가장 단순한 확률적 벽돌에서 출발하여, 차원을 넓히고, 행렬을 뒤집고, 켤레성을 부여하며 층층이 쌓아 올린 논리적 빌드업의 최종 결과물입니다. 이 7단계의 유기적인 개념 사다리를 차례대로 올라가 봅니다.1. 표준 정규분포: 모든 확률 모델의 1차원 출발점$$Z \sim \mathcal{N}(0, 1)$$개념: 평균이 0, 분산이 1인 가장 대칭적이고 이상적인 연속 확률분포입니다.장치로서의 역할: 통계학의 가장 순수한 원자재입니다. 키,..

음성예측도(NPV, Negative Predictive Value)를 민감도($Se$), 특이도($Sp$), 유병률($P$)로 표현하는 베이즈 정리(Bayes' theorem) 기반 공식은 다음과 같습니다.1. 음성예측도 수식$$\text{NPV} = \frac{Sp \times (1 - P)}{(1 - Se) \times P + Sp \times (1 - P)}$$$Se$ (민감도, Sensitivity): 실제 환자 중 검사 결과가 양성으로 나온 비율$Sp$ (특이도, Specificity): 실제 비환자(정상) 중 검사 결과가 음성으로 나온 비율$P$ (유병률, Prevalence): 전체 대상 집단 중 실제 질환을 앓고 있는 환자의 비율$1 - P$: 비환자(정상)의 비율$1 - Se$: 위음성률..

희소 벡터(Sparse Vector)는 전체 차원 중 대부분의 값이 $0$이고, 텍스트에 나타난 주요 단어(토큰) 위치에만 0이 아닌 가중치(가령 단어 중요도나 빈도)가 매핑되는 고차원 벡터 표현 방식입니다. 조항 번호, 고유명사, 전문 용어와 같은 정밀한 키워드 매칭을 수행하면서도 고차원 역색인(Inverted Index)을 통해 빠르게 검색할 수 있습니다.1. 희소 벡터 생성 원리희소 벡터는 전체 단어 사전(보통 3만~25만 차원)을 기반으로 문서를 벡터화합니다. 생성 방식은 크게 통계 기반(Lexical/BM25)과 신경망 기반(Neural/SPLADE)으로 나뉩니다.[입력 텍스트]──> [토크나이징 (Subword/Word)]──> [가중치 산출 (통계 or 신경망)]──> [Sparse Vect..

카페에 앉아서동네 카페에 앉아 오가는 손님들을 무심코 관찰한다고 해봅시다. 손님마다 키와 몸무게가 다르고, 얼핏 보면 두 무리 정도로 나뉘는 것 같기도 합니다. 그런데 정말 두 무리일까요? 세 무리는 아닐까요? 아니면 그냥 하나의 큰 덩어리일까요?이 질문— "데이터가 몇 개의 군집으로 나뉘는가" — 은 통계학에서 생각보다 까다로운 문제입니다. 대부분의 군집화 기법(k-means가 대표적입니다)은 이 질문에 답하기 전에 먼저 "몇 개로 나눌지"를 사람이 정해줘야 합니다. K=2로 나눠보고, K=3으로도 나눠보고, 결과를 비교해서 "그나마 나은 것"을 고르는 식이죠. 하지만 이건 답을 찾는 게 아니라 답을 미리 정해놓고 데이터를 거기에 끼워 맞추는 것에 가깝습니다.비모수 베이지안(Nonparametric B..