확률의 벽돌쌓기: 표준 정규분포에서 DP-GMM의 기저분포까지

머신러닝과 통계학에서 비지도학습의 끝판왕 중 하나로 꼽히는 DP-GMM(디리클레 과정 가우시안 혼합 모델)은 데이터에 맞춰 스스로 군집의 개수를 증감시키는 정교한 통계 모델입니다.

 

이 거대한 아키텍처는 하늘에서 불쑥 떨어진 것이 아닙니다. 고등학교 수준의 표준 정규분포라는 가장 단순한 확률적 벽돌에서 출발하여, 차원을 넓히고, 행렬을 뒤집고, 켤레성을 부여하며 층층이 쌓아 올린 논리적 빌드업의 최종 결과물입니다.

 

이 7단계의 유기적인 개념 사다리를 차례대로 올라가 봅니다.

1. 표준 정규분포: 모든 확률 모델의 1차원 출발점

$$Z \sim \mathcal{N}(0, 1)$$

• 개념: 평균이 0, 분산이 1인 가장 대칭적이고 이상적인 연속 확률분포입니다.
• 장치로서의 역할: 통계학의 가장 순수한 원자재입니다. 키, 오차, 점수 등 수많은 1차원 자연 현상을 설명하는 기본 모델이지만, 아직은 '흩어짐(산포)'의 크기나 축 간의 상관관계를 다루지 못하는 1차원 스칼라 상태입니다.

2. 카이제곱 분포: 분산(산포도)을 다루기 위한 변환 장치

$$X = \sum_{i=1}^k Z_i^2 \sim \chi^2(k)$$

• 개념: 독립인 표준정규 확률변수 $k$개를 각각 제곱하여 더했을 때 나타나는 분포입니다.
• 단계적 연결 고리:
  • 분산(Variance)이란 본질적으로 '편차의 제곱'입니다.
  • 따라서 "데이터가 얼마나 퍼져 있는가?"라는 산포도 자체를 확률변수(양수 영역)로 다루기 위해 표준 정규분포를 제곱해 더하는 수학적 장치가 바로 카이제곱 분포입니다.

3. 위샤트 분포: 산포도를 다차원 행렬 공간으로 확장하기

$$\mathbf{W} = \sum_{i=1}^\nu \mathbf{x}_i \mathbf{x}_i^T \sim \mathcal{W}_D(\mathbf{V}, \nu) \quad (\mathbf{x}_i \sim \mathcal{N}(\mathbf{0}, \mathbf{V}))$$

• 개념: 카이제곱 분포의 다차원 행렬(Matrix) 버전입니다.
• 단계적 연결 고리:
  • 현실의 데이터는 1차원 숫자(몸무게)가 아니라 다차원 벡터(키, 몸무게, 혈압 등)로 존재합니다.
  • 다차원 공간에서 흩어짐을 표현하려면 단순 분산이 아닌, 타원체의 방향과 기울기를 표현하는 산포 행렬(Scatter Matrix)이 필요합니다.
  • 1차원의 제곱($Z^2$)을 다차원 벡터의 외적($\mathbf{x}\mathbf{x}^T$)으로 치환하여, 대칭이면서 항상 양의 정부호(Positive Definite)를 만족하는 타원체 행렬을 만들어내는 장치가 위샤트 분포입니다.

4. 역위샤트 분포: 정밀도에서 '공분산 행렬' 자체로 초점 바꾸기

$$\mathbf{\Sigma} \sim \mathcal{W}^{-1}(\mathbf{\Lambda}, \nu) \iff \mathbf{\Sigma}^{-1} \sim \mathcal{W}(\mathbf{\Lambda}^{-1}, \nu)$$

• 개념: 위샤트 분포를 따르는 행렬의 역행렬(Inverse Matrix)이 따르는 분포입니다.
• 단계적 연결 고리:
  • 위샤트 분포는 가우시안 수식 상에서 지수부에 위치하는 정밀도 행렬($\mathbf{\Sigma}^{-1}$)을 다루기에는 편하지만, 사람이 직관적으로 해석하고 관찰하는 대상은 흩어짐 그 자체인 공분산 행렬($\mathbf{\Sigma}$)입니다.
  • "우리가 원하는 공분산 행렬 $\mathbf{\Sigma}$ 자체를 모수로 직접 샘플링하고 추론하자"는 목적을 위해 행렬을 뒤집어 정의한 장치가 바로 역위샤트 분포입니다.

5. 정규-역위샤트 분포 (NIW): 중심과 모양의 '패키지 결합'

$$(\boldsymbol{\mu}, \mathbf{\Sigma}) \sim \text{NIW}(\boldsymbol{\mu}_0, \kappa_0, \mathbf{\Lambda}_0, \nu_0)$$

• 개념: 다변량 정규분포의 평균 벡터($\boldsymbol{\mu}$)와 공분산 행렬($\mathbf{\Sigma}$)을 동시에 한 묶음으로 생성하는 결합 확률분포입니다.
• 단계적 연결 고리:
  • 하나의 가우시안 군집(타원형 구름)을 완전히 정의하려면 중심 위치($\boldsymbol{\mu}$)와 타원의 모양($\mathbf{\Sigma}$) 두 가지가 모두 필요합니다.
  • 그런데 타원의 모양($\mathbf{\Sigma}$)이 크고 넓적하면, 그 중심($\boldsymbol{\mu}$)의 위치 역시 불확실성이 커져 더 넓게 요동치는 것이 자연스럽습니다.
  • 따라서 $\mathbf{\Sigma}$를 역위샤트 분포에서 먼저 뽑고, 그 뽑힌 $\mathbf{\Sigma}$의 크기에 비례하도록 평균 $\boldsymbol{\mu}$를 조건부 정규분포로 연쇄 추출하여 '위치와 모양이 서로 맞물린 완벽한 타원형 군집'을 한 번에 생성하도록 만든 장치가 NIW입니다.

6. 켤레 사전 분포: 복잡한 적분을 단순 덧셈으로 바꾸는 수학적 치트키

$$\text{사후 분포 } P(\boldsymbol{\mu}, \mathbf{\Sigma} \mid \mathbf{X}) \propto \underbrace{P(\mathbf{X} \mid \boldsymbol{\mu}, \mathbf{\Sigma})}_{\text{가우시안 우도}} \times \underbrace{\text{NIW}(\boldsymbol{\mu}, \mathbf{\Sigma})}_{\text{사전 분포}} = \mathbf{\text{NIW}(\text{갱신된 모수})}$$

• 개념: 사전 분포와 사후 분포가 완전히 동일한 분포 족(Family)으로 유지되는 특별한 수학적 관계입니다.
• 단계적 연결 고리:
  • 베이지안 추론에서 데이터를 관측했을 때 사후 분포를 수치 적분으로 일일이 계산하는 것은 계산량이 너무 방대합니다.
  • 하지만 다변량 가우시안 데이터의 사전 분포로 앞서 조립한 NIW를 채택하면, 복잡한 적분이 완전히 소거되고 데이터의 샘플 수와 표본 평균·분산을 사전 모수에 그대로 더해주는 단순 사칙연산만으로 사후분포가 계산됩니다.
  • 이 '켤레성(Conjugacy)' 덕분에 머신러닝 알고리즘이 실시간으로 확률을 갱신할 수 있는 계산적 실행력을 얻게 됩니다.

7. DP-GMM에서의 기저분포 ($G_0$): 무한한 군집이 태어나는 씨앗

$$G \sim \text{DP}(\alpha, G_0), \quad \theta_k = (\boldsymbol{\mu}_k, \mathbf{\Sigma}_k) \sim G_0$$

• 개념: 군집의 개수를 미리 정하지 않는 무한 차원 혼합 모델에서, 새롭게 생겨나는 군집 파라미터들의 모태가 되는 근원 분포입니다.
• 최종 완성과 연결:
  • 중국집 프로세스(CRP)에서 어떤 손님이 기존 테이블 대신 완전히 새로운 테이블(군집)을 차리기로 결정했을 때, 그 새로운 군집의 평균과 공분산 $(\boldsymbol{\mu}_{\text{new}}, \mathbf{\Sigma}_{\text{new}})$은 허공에서 튀어나올 수 없습니다.
  • 이때 새로운 군집의 형태를 공급해 주는 공급원($G_0$) 자리에, 지금까지 조립해 온 정규-역위샤트(NIW) 분포가 정확히 안착합니다.
  • NIW가 가진 켤레성 덕분에 새 군집을 만들지 말지 판단하는 주변 예측 우도(Marginal Likelihood)가 스튜던트 t-분포라는 닫힌 수식으로 바로 풀려나오며, 붕괴된 깁스 샘플링(Collapsed Gibbs Sampling)이 막힘없이 돌아갈 수 있게 됩니다.

사다리를 내려다보며

• 표준 정규분포라는 기본 단위를 제곱하여 카이제곱 분포라는 스칼라 산포도를 만들었고,
• 이를 다차원 외적 공간으로 넓혀 타원의 형태를 지닌 위샤트 분포를 구축했습니다.
• 관심 모수를 공분산 자체로 맞추기 위해 역행렬을 취해 역위샤트 분포로 바꾼 뒤, 중심 벡터와의 의존성을 엮어 타원체 생성 패키지인 정규-역위샤트(NIW) 분포를 완성했습니다.
• 여기에 켤레 사전 분포라는 계산적 날개를 달아줌으로써, 마침내 군집 개수를 스스로 알아내는 DP-GMM의 심장, 즉 기저분포 $G_0$가 작동하게 된 것입니다.

각각의 복잡한 통계 분포들은 개별적으로 존재하는 섬이 아니라, 현실의 복잡한 다차원 데이터를 모델링하기 위해 단 하나의 선으로 팽팽하게 연결된 수학적 장치들의 정교한 릴레이입니다.