FedTensor

이 문서는 특정 확률 분포를 따르는 난수(샘플)를 추출하는 네 가지 주요 방법인 역변환법, 기각-채택법, 박스-뮬러 변환, MCMC에 대해 상세히 설명합니다.1. 역변환법 (Inverse Transform Method)가장 기본적이고 직관적인 방법으로, 누적 분포 함수(CDF)의 역함수를 이용합니다.기본 원리모든 누적 분포 함수 $F(x)$는 0과 1 사이의 값을 가집니다. 만약 $U$가 $(0, 1)$ 구간의 균등 분포(Uniform Distribution)를 따른다면, $X = F^{-1}(U)$는 $F$를 누적 분포 함수로 갖는 확률 변수가 됩니다.알고리즘목표 확률 분포의 PDF $f(x)$를 적분하여 CDF $F(x)$를 구합니다.$F(x) = u$ 로 놓고, $x$에 대해 풀어 역함수 $x = ..

1. 직관적인 이해: 이산 시간에서 연속 시간으로10분에 평균 1대꼴로 오는 버스가 있습니다.단위 시간(여기서는 1분) 당 버스 도착 확률(비율): $\lambda = \frac{1}{10} = 0.1$A는 오전 9시에 버스 정류장에 도착하여 버스를 기다립니다. 버스가 도착할 시간을 1분 단위의 구간으로 나누어 생각해 봅시다.0~1분 (구간 1)1~2분 (구간 2)...각 1분 단위 구간마다 버스가 도착할 확률을 $p = 0.1$이라고 가정해 봅시다. (반대로 도착하지 않을 확률은 $1-p = 0.9$입니다.) A가 $t$분 시점까지 계속 기다리고 있을 확률(버스가 아직 도착하지 않았을 확률)을 계산해 보겠습니다.1분 후에도 못 탔을 확률:첫 번째 구간에서 안 옴: $(1-p) = 0.9$2분 후에도 못..

감마 분포(Gamma Distribution)로부터 디리클레 분포(Dirichlet Distribution)를 유도하는 과정은 확률 변수의 변환(Change of Variables) 기법을 사용하여 설명할 수 있습니다. 핵심 아이디어는 "서로 독립인 $K$개의 감마 확률 변수를 그 합으로 나누어 정규화(Normalize)하면 디리클레 분포를 따른다"는 것입니다. 단계별 유도 과정은 다음과 같습니다.1. 전제 조건 및 설정 $K$개의 서로 독립인 확률 변수 $X_1, X_2, \dots, X_K$가 있고, 각각은 척도 모수(scale parameter)가 1인 감마 분포를 따른다고 가정합니다. $$X_i \sim \text{Gamma}(\alpha_i, 1), \quad i = 1, \dots, K$$ 이..

지수 분포가 '첫 번째 사건'이 발생할 때까지의 시간이라면, 감마 분포(Gamma Distribution)는 이를 일반화하여 '$k$번째 사건'이 발생할 때까지의 시간을 모델링합니다. 지수 분포 유도 때와 마찬가지로 푸아송 과정(Poisson Process)을 기반으로 아주 직관적인 방법(미소 구간 확률)을 사용하여 유도할 수 있습니다.1. 목표 설정: 무엇을 구하는가?상황: 사건이 평균적으로 단위 시간당 $\lambda$회 발생하는 푸아송 과정.확률 변수 $T$: $k$번째 사건이 발생할 때까지 걸리는 시간.목표: $T$의 확률 밀도 함수(PDF) $f(t)$ 구하기.2. 직관적 유도 (미소 구간 접근법)확률 밀도 함수 $f(t)$의 정의를 생각해 봅시다. $f(t)dt$는 '정확히 시간 $t$ 시점에..

지수 분포의 수식을 유도하는 가장 논리적이고 표준적인 방법은 푸아송 과정(Poisson Process)에서 출발하는 것입니다. 지수 분포는 '사건이 발생할 때까지 걸리는 시간'에 대한 분포이고, 푸아송 분포는 '특정 시간 동안 발생하는 사건의 횟수'에 대한 분포입니다. 이 둘은 동전의 양면과 같습니다. 이 관계를 이용하여 지수 분포의 확률 밀도 함수(PDF)인 $f(t) = \lambda e^{-\lambda t}$를 유도해 보겠습니다. 1. 전제 조건: 푸아송 분포단위 시간당 평균 $\lambda$번 발생하는 사건이 있다고 가정합니다. 시간 $t$ 동안 사건이 총 $k$번 발생할 확률 $P(N(t)=k)$는 푸아송 분포를 따르며 다음과 같습니다. $$P(N(t) = k) = \frac{(\lambda ..