페드텐서 FedTensor

카이제곱 분포와 표본 분산의 관계

카이제곱 분포(\(\chi^2\) distribution)와 표본 분산(sample variance)의 관계를 이해하는 핵심은 정규분포를 따르는 모집단에서 표본을 추출하면, 표본 분산을 모집단 분산으로 나눈 값에 표본 크기와 관련된 상수를 곱한 통계량이 카이제곱 분포를 따른다는 것입니다. 이 관계는 모분산에 대한 신뢰구간을 계산하거나 가설검정을 수행할 때 중요한 이론적 근거가 됩니다.1. 핵심 관계식모집단이 정규분포 \(N(\mu,\sigma^2)\)를 따른다고 가정하고, 크기가 \(n\)인 표본을 독립적으로 추출하겠습니다. 표본평균은\[ \bar X=\frac{1}{n}\sum_{i=1}^{n}X_i \]이고, 표본분산은 다음과 같이 정의합니다.\[ S^2=\frac{1}{n-1}\sum_{i=1}^{..

손님 키와 몸무게 쌍 군집화: GMM (깁스 샘플링)

동네 카페 손님들의 (키, 몸무게) 데이터를 바탕으로, 앞서 살펴본 EM 알고리즘과 동일한 구조(목표, 단계별 흐름, 최종 결과)에 맞추어 깁스 샘플링(Gibbs Sampling)을 적용한 베이지안 GMM 군집화 과정을 단계별로 설명합니다.상황 설정관측 데이터: 하루 동안 방문한 손님들의 (키, 몸무게) 2차원 좌표점들.목표: 손님들을 3개의 타원형 구름($K=3$)으로 분류하기.예: 어린이 그룹, 성인 여성 그룹, 성인 남성 그룹찾아야 하는 정보 (각 구름의 파라미터 및 소속 변수):손님의 소속 번호표($z_i$): 각 손님이 1, 2, 3번 구름 중 어디에 속하는지 명확한 번호중심점(평균 $\boldsymbol{\mu}$): 각 그룹의 평균 키와 몸무게모양과 기울기(공분산 $\boldsymbol{\S..

손님 키와 몸무게 쌍 군집화: GMM (EM 알고리즘)

GMM(Gaussian Mixture Model)이 데이터를 군집화하는 핵심 원리는 EM(Expectation-Maximization) 알고리즘이라는 반복 과정을 통해 이루어집니다. 앞서 살펴본 동네 카페 손님들의 (키, 몸무게) 데이터를 바탕으로, GMM이 어떻게 최적의 타원형 구름들을 찾아내는지 단계별로 구체적인 과정을 설명합니다.상황 설정관측 데이터: 하루 동안 방문한 손님들의 (키, 몸무게) 2차원 좌표점들.목표: 손님들을 3개의 타원형 구름($K=3$)으로 분류하기.예: 어린이 그룹, 성인 여성 그룹, 성인 남성 그룹찾아야 하는 정보 (각 구름의 파라미터):중심점(평균 $\boldsymbol{\mu}$): 각 그룹의 평균 키와 몸무게모양과 기울기(공분산 $\boldsymbol{\Sigma}$):..

데이터를 분석할 때 마주치는 가장 근본적인 질문 중 하나는 바로 "이 데이터들을 어떻게 의미 있는 그룹으로 묶을 것인가?"입니다. 머신러닝과 통계학은 지난 수십 년간 이 단순한 질문에 답하기 위해 모델을 발전시켜 왔습니다. "딱딱한 원형 구역"을 나누던 단순한 방식에서 출발해, "유연한 타원형 구름", "그룹 개수를 스스로 학습하는 모델", 나아가 "시간의 흐름까지 엮어내는 동적 모델"로 확장되어 온 여정을 한 편의 흐름으로 정리해 봅니다. 이해를 돕기 위해 어느 동네 카페에서 손님들의 (키, 몸무게)를 측정하는 상황을 일관된 예시로 활용해 보겠습니다.1. K-Means: 단순함의 미학, 그러나 엄격한 한계군집화(Clustering)를 배울 때 가장 먼저 만나는 알고리즘은 단연 K-Means입니다.핵심 ..

깁스 샘플링(Gibbs Sampling)에서 말하는 '결합분포(Joint Distribution)'는 "우리가 추정하고자 하는 모든 미지의 변수(파라미터와 잠재 변수)가 주어진 관측 데이터 하에서 함께 가질 수 있는 종합적인 확률분포", 즉 베이지안 관점의 사후 결합분포(Joint Posterior Distribution)를 의미합니다. 각 예시에서 구체적으로 무엇을 결합분포로 정의하는지 살펴보겠습니다.1. 예시 1: 공의 무게 군집 (Light / Heavy)관측된 데이터 ($X$): 각 공들의 측정된 1차원 무게들 ($x_1, x_2, \dots, x_N$)추정해야 할 미지의 변수들:개별 공들의 소속 라벨 ($Z$): 각 공이 Light인지 Heavy인지 나타내는 잠재 변수들 ($z_1, z_2, \..