카이제곱 분포와 표본 분산의 관계

카이제곱 분포(\(\chi^2\) distribution)와 표본 분산(sample variance)의 관계를 이해하는 핵심은 정규분포를 따르는 모집단에서 표본을 추출하면, 표본 분산을 모집단 분산으로 나눈 값에 표본 크기와 관련된 상수를 곱한 통계량이 카이제곱 분포를 따른다는 것입니다.

 

이 관계는 모분산에 대한 신뢰구간을 계산하거나 가설검정을 수행할 때 중요한 이론적 근거가 됩니다.

1. 핵심 관계식

모집단이 정규분포 \(N(\mu,\sigma^2)\)를 따른다고 가정하고, 크기가 \(n\)인 표본을 독립적으로 추출하겠습니다.

 

표본평균은

\[ \bar X=\frac{1}{n}\sum_{i=1}^{n}X_i \]

이고, 표본분산은 다음과 같이 정의합니다.

\[ S^2=\frac{1}{n-1}\sum_{i=1}^{n}(X_i-\bar X)^2 \]

 

이때 다음 통계량은 자유도 \(n-1\)인 카이제곱 분포를 따릅니다.

 

핵심 공식

\[ \boxed{\frac{(n-1)S^2}{\sigma^2}\sim\chi^2_{n-1}} \]

 

여기서

• \(n\): 표본 크기

• \(S^2\): 표본분산

• \(\sigma^2\): 모집단의 실제 분산

• \(n-1\): 카이제곱 분포의 자유도

즉, 표본분산 \(S^2\) 자체가 카이제곱 분포를 따르는 것은 아닙니다. 표본분산을 모분산으로 나누고 \(n-1\)을 곱한 통계량이 카이제곱 분포를 따릅니다.

2. 왜 카이제곱 분포가 나타나는가?

이 관계는 정규분포에서 표준화한 값의 제곱을 합산하는 과정에서 나옵니다.

① 개별 관측값을 표준화한다

각 관측값 \(X_i\)가 정규분포를 따른다면,

\[ Z_i=\frac{X_i-\mu}{\sigma}\sim N(0,1) \]

입니다. 표준정규분포를 따르는 확률변수 \(Z_i\)를 제곱하면 그 제곱값은 자유도 1인 카이제곱 분포를 따릅니다.

\[ Z_i^2\sim\chi^2_1 \]

② 제곱한 값을 합산한다

서로 독립인 표준정규확률변수 \(n\)개의 제곱을 합하면,

\[ \sum_{i=1}^{n}Z_i^2\sim\chi^2_n \]

이 됩니다.

 

그런데 표본분산은 모집단 평균 \(\mu\)가 아니라 표본평균 \(\bar X\)로부터의 편차를 이용합니다. 따라서 다음 항등식이 성립합니다.

\[ \underbrace{\sum_{i=1}^{n} \frac{(X_i-\mu)^2}{\sigma^2}}_{\chi^2_n} = \underbrace{\sum_{i=1}^{n} \frac{(X_i-\bar X)^2}{\sigma^2}}_{\chi^2_{n-1}} + \underbrace{\frac{n(\bar X-\mu)^2}{\sigma^2}}_{\chi^2_1} \]

 

여기서 표본평균을 추정하는 데 자유도 1개가 사용됩니다. 그 결과 표본평균으로부터의 편차 제곱합은 자유도 \(n-1\)인 카이제곱 분포와 연결됩니다.

 

따라서

\[ \frac{\sum_{i=1}^{n}(X_i-\bar X)^2}{\sigma^2} = \frac{(n-1)S^2}{\sigma^2} \sim\chi^2_{n-1} \]

가 됩니다.

3. 표본분산을 반복 추출하면 어떤 일이 일어나는가?

모집단 분산이 \(\sigma^2=4\)이고, 표본 크기가 \(n=10\)이라고 가정해 보겠습니다.

 

이때 표본분산을 계산할 때마다 그 값은 달라집니다. 표본분산의 표집분포(sampling distribution)는 이 변동을 나타냅니다.

\[ \frac{9S^2}{4}\sim\chi^2_9 \]

 

즉, 표본분산 \(S^2\)의 표집분포는 자유도 9인 카이제곱 분포를 \(4/9\)배 한 분포입니다.

표본 1	표본 2	표본 3
10개 관측값	새로운 10개	또 다른 10
$S_1^2$	$S_2^2$	$S_3^2$
표본분산의 표집분포

반복 추출한 표본분산들의 분포는 모분산과 표본 크기에 따라 결정됩니다.

 

이때 다음 두 사실을 구분해야 합니다.

• 표본분산의 기댓값은 모분산과 같습니다. \(E[S^2]=\sigma^2=4\)

• 표본분산의 개별 실현값은 4보다 작거나 클 수 있습니다.

표본분산이 모분산을 평균적으로 정확하게 추정한다는 사실과, 개별 표본에서 얻은 분산이 정확히 4가 된다는 것은 다른 이야기입니다.

4. 이 관계가 실제 통계 분석에서 중요한 이유

카이제곱 분포를 이용하면 표본에서 계산한 분산을 바탕으로 모분산에 대해 추론할 수 있습니다.

 

예를 들어, 앞의 조건에서 표본분산이 \(S^2=5\)로 관측되었다고 합시다. 표본 크기는 10이므로 관측된 카이제곱 통계량은

\[ \chi^2_{\mathrm{obs}} =\frac{9\times5}{\sigma^2} \]

입니다. 모분산 \(\sigma^2\)를 알고 있다면 이 통계량을 이용해 관측된 표본분산이 얼마나 이례적인지 평가할 수 있습니다. 반대로 모분산을 모른다면 카이제곱 분포의 분위수를 이용해 모분산의 신뢰구간을 계산할 수 있습니다.

 

신뢰수준 \(1-\alpha\)인 모분산 신뢰구간은 다음과 같습니다.

\[ \boxed{ \left[ \frac{(n-1)S^2}{\chi^2_{1-\alpha/2,\ n-1}}, \quad \frac{(n-1)S^2}{\chi^2_{\alpha/2,\ n-1}} \right] } \]

 

여기서 \(\chi^2_{p,\ n-1}\)는 자유도 \(n-1\)인 카이제곱 분포의 누적확률 \(p\)에 해당하는 분위수입니다.

 

주의할 점은 이 결과가 독립적인 정규분포 표본이라는 가정에 의존한다는 것입니다. 모집단이 정규분포를 따르지 않으면 표본분산과 카이제곱 분포 사이의 위 관계가 일반적으로 정확하게 성립하지 않습니다.

 

핵심 정리: 카이제곱 분포는 정규모집단에서 추출한 표본의 제곱편차 합과 연결됩니다. 표본평균을 사용해 분산을 계산하면 자유도 하나가 소모되므로, \((n-1)S^2/\sigma^2\)가 자유도 \(n-1\)인 카이제곱 분포를 따릅니다. 이 성질이 모분산의 신뢰구간과 가설검정을 가능하게 합니다.