감마 분포 -> 디리클레 분포

감마 분포(Gamma Distribution)로부터 디리클레 분포(Dirichlet Distribution)를 유도하는 과정은 확률 변수의 변환(Change of Variables) 기법을 사용하여 설명할 수 있습니다.

핵심 아이디어는 "서로 독립인 $K$개의 감마 확률 변수를 그 합으로 나누어 정규화(Normalize)하면 디리클레 분포를 따른다"는 것입니다.

단계별 유도 과정은 다음과 같습니다.

1. 전제 조건 및 설정

$K$개의 서로 독립인 확률 변수 $X_1, X_2, \dots, X_K$가 있고, 각각은 척도 모수(scale parameter)가 1인 감마 분포를 따른다고 가정합니다.

$$X_i \sim \text{Gamma}(\alpha_i, 1), \quad i = 1, \dots, K$$

이때 각 $X_i$의 확률 밀도 함수(PDF)는 다음과 같습니다.
$$f_{X_i}(x_i) = \frac{1}{\Gamma(\alpha_i)} x_i^{\alpha_i - 1} e^{-x_i}$$

$X_i$들은 서로 독립이므로, 결합 확률 밀도 함수(Joint PDF)는 개별 PDF의 곱입니다.
$$f_{X_1, \dots, X_K}(x_1, \dots, x_K) = \prod_{i=1}^K \frac{1}{\Gamma(\alpha_i)} x_i^{\alpha_i - 1} e^{-x_i} = \frac{1}{\prod_{i=1}^K \Gamma(\alpha_i)} \left( \prod_{i=1}^K x_i^{\alpha_i - 1} \right) e^{-\sum_{i=1}^K x_i}$$

2. 변수 변환 (Transformation)

이제 이 변수들을 비율(Simplex 상의 좌표)과 합(Sum)으로 변환합니다.

* 새로운 변수 정의:
    * $S = \sum_{j=1}^K X_j$ (전체 합)
    * $Y_i = \frac{X_i}{S}$ (비율, 단 $i=1, \dots, K$)

여기서 제약 조건 $\sum_{i=1}^K Y_i = 1$이 존재하므로, 자유도가 있는 변수는 $Y_1, \dots, Y_{K-1}$까지 $K-1$개입니다. 따라서 변환 관계는 $(X_1, \dots, X_K) \rightarrow (Y_1, \dots, Y_{K-1}, S)$가 됩니다.

* 역변환 (Inverse Mapping):
    * $X_i = S Y_i$ (for $i = 1, \dots, K-1$)
    * $X_K = S (1 - \sum_{j=1}^{K-1} Y_j)$

설명: 3차원 공간의 점들(X)이 평면(S=상수)에 투영되면서 심플렉스(Y)를 형성하는 기하학적 의미입니다.

3. 자코비안(Jacobian) 계산

변수 변환을 위해 자코비안 행렬식(Determinant of Jacobian Matrix) $J$가 필요합니다.
$$J = \det \left( \frac{\partial(x_1, \dots, x_K)}{\partial(y_1, \dots, y_{K-1}, s)} \right)$$

이 행렬식의 계산 결과는 다음과 같습니다 (계산 과정은 다소 복잡하므로 결과만 기술합니다):
$$|J| = S^{K-1}$$

4. $Y$와 $S$의 결합 분포 유도

원래의 결합 PDF 식에 $x_i$를 $S$와 $Y_i$로 치환하고 자코비안을 곱합니다.

1. 지수 부분: $e^{-\sum x_i} = e^{-S}$
2. 거듭제곱 부분: $\prod_{i=1}^K x_i^{\alpha_i - 1} = \prod_{i=1}^K (S Y_i)^{\alpha_i - 1} = S^{\sum(\alpha_i - 1)} \prod_{i=1}^K Y_i^{\alpha_i - 1}$
    *(단, $Y_K = 1 - \sum_{j=1}^{K-1} Y_j$)*

이제 식을 정리하면 $Y$와 $S$의 결합 PDF $g(y_1, \dots, y_{K-1}, s)$는 다음과 같습니다.

$$g(\mathbf{y}, s) = \underbrace{\frac{1}{\prod \Gamma(\alpha_i)}}_{\text{상수}} \cdot \underbrace{\left( S^{\sum \alpha_i - K} \prod Y_i^{\alpha_i - 1} \right)}_{\text{거듭제곱 항}} \cdot \underbrace{e^{-S}}_{\text{지수 항}} \cdot \underbrace{S^{K-1}}_{\text{자코비안}}$$

$S$에 대한 항을 묶어줍니다 ($\sum \alpha_i - K + K - 1 = \sum \alpha_i - 1$):

$$g(\mathbf{y}, s) = \left[ \frac{1}{\prod \Gamma(\alpha_i)} \prod_{i=1}^K Y_i^{\alpha_i - 1} \right] \cdot \left[ S^{(\sum \alpha_i) - 1} e^{-S} \right]$$

5. 주변화 (Marginalization)

우리는 $Y$의 분포(디리클레)만 필요하므로, 불필요한 변수 $S$ (전체 합)에 대해 $0$부터 $\infty$까지 적분하여 제거합니다.

$$f_{Y}(\mathbf{y}) = \int_0^\infty g(\mathbf{y}, s) \, ds$$
$$f_{Y}(\mathbf{y}) = \frac{\prod Y_i^{\alpha_i - 1}}{\prod \Gamma(\alpha_i)} \int_0^\infty S^{(\sum \alpha_i) - 1} e^{-S} \, ds$$

위 식의 적분 부분 $\int_0^\infty S^{(\sum \alpha_i) - 1} e^{-S} \, ds$은 정확히 감마 함수의 정의 $\Gamma(\sum_{i=1}^K \alpha_i)$와 일치합니다.

6. 최종 결과: 디리클레 분포

적분 결과를 대입하여 정리하면 다음과 같습니다.

$$f_{Y}(y_1, \dots, y_K) = \frac{\Gamma(\sum_{i=1}^K \alpha_i)}{\prod_{i=1}^K \Gamma(\alpha_i)} \prod_{i=1}^K y_i^{\alpha_i - 1}$$

이 식을 다시 쓰면 우리가 아는 디리클레 분포의 PDF가 됩니다.

$$f(\mathbf{y} | \boldsymbol{\alpha}) = \frac{1}{B(\boldsymbol{\alpha})} \prod_{i=1}^K y_i^{\alpha_i - 1}$$

* 여기서 $B(\boldsymbol{\alpha}) = \frac{\prod \Gamma(\alpha_i)}{\Gamma(\sum \alpha_i)}$는 다변량 베타 함수(Multivariate Beta Function)입니다.
* 조건: $y_i \ge 0$, $\sum y_i = 1$.

요약

1. 독립적인 감마 분포 $X_i$들을 준비합니다.
2. 변수 변환 $Y_i = X_i / \sum X_j$를 수행합니다.
3. 합 변수 $S$를 적분하여 제거(Marginalize)하면, 비율 변수 $Y$들은 디리클레 분포를 따르게 됩니다.

이러한 특성 때문에 디리클레 분포는 베이지안 통계에서 다항 분포(Multinomial distribution)의 켤레 사전 분포(Conjugate Prior)로 자연스럽게 사용됩니다.