두 벡터의 내적의 분산 구하기

1. 문제의 전제 조건 정의

먼저, 우리가 가진 조건들을 수학적으로 정리해 보겠습니다.

• $n$차원의 두 벡터 $\mathbf{a}$와 $\mathbf{b}$가 있습니다.
  
  • $\mathbf{a} = (a_1, a_2, \ldots, a_n)$
  • $\mathbf{b} = (b_1, b_2, \ldots, b_n)$
• 각 벡터의 성분 $a_i$와 $b_j$는 모두 독립적인 확률 변수라고 가정합니다. (이 가정이 매우 중요합니다!)
• 각 성분의 평균(기대값)은 0입니다.
  
  • $E[a_i] = 0$ (모든 $i$에 대해)
  • $E[b_i] = 0$ (모든 $i$에 대해)
• 각 성분의 분산은 1입니다.
  
  • $Var(a_i) = 1$ (모든 $i$에 대해)
  • $Var(b_i) = 1$ (모든 $i$에 대해)

2. 목표: 내적의 분산

우리가 구하려는 것은 두 벡터의 내적($X$라고 부르겠습니다)의 분산입니다.

• 내적 $X$:

$$X = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^n a_i b_i = a_1 b_1 + a_2 b_2 + \ldots + a_n b_n$$

• 목표:

$$Var(X) = Var\left(\sum_{i=1}^n a_i b_i\right)$$

3. 단계별 계산

이제 $Var(X)$를 단계적으로 계산해 보겠습니다.

1단계: 분산의 덧셈 법칙 적용

$X$는 $n$개의 항($a_1 b_1$, $a_2 b_2$, ...)의 합입니다.

 

여기서 $c_i = a_i b_i$라고 정의해 보겠습니다.

$$X = \sum_{i=1}^n c_i$$

$c_1 = a_1 b_1$, $c_2 = a_2 b_2$ 이고 $a_1, b_1, a_2, b_2$ 가 모두 서로 독립이므로, $c_1$과 $c_2$도 서로 독립입니다.

독립인 확률 변수들의 합의 분산은 각 변수의 분산의 합과 같습니다. 즉,

$$Var(Y+Z) = Var(Y) + Var(Z)\quad \text{(단, Y와 Z는 독립)}$$

따라서 $X$의 분산은 각 $c_i$ 항의 분산의 합이 됩니다.
$$Var(X) = Var\left(\sum_{i=1}^n c_i\right) = \sum_{i=1}^n Var(c_i) = \sum_{i=1}^n Var(a_i b_i)$$

이제 우리는 $n$개의 항이 아니라, 단일 항 $c_i = a_i b_i$의 분산 $Var(a_i b_i)$만 구하면 됩니다.

2단계: 단일 항 $Var(a_i b_i)$ 계산하기

분산의 기본 공식은 $Var(Y) = E[Y^2] - (E[Y])^2$ 입니다. $Y$ 대신 $c_i = a_i b_i$를 대입해 보겠습니다.

$$Var(a_i b_i) = E[(a_i b_i)^2] - (E[a_i b_i])^2$$

이 식을 계산하기 위해 $E[a_i b_i]$와 $E[(a_i b_i)^2]$를 각각 구해야 합니다.

$E[a_i b_i]$ (기대값) 계산:

$a_i$와 $b_i$는 서로 독립이므로, 기대값을 분리할 수 있습니다.
$$E[a_i b_i] = E[a_i] \cdot E[b_i]$$
주어진 조건에서 $E[a_i] = 0$이고 $E[b_i] = 0$이므로,
$$E[a_i b_i] = 0 \cdot 0 = 0$$

$E[(a_i b_i)^2]$ (제곱의 기대값) 계산:

$E[(a_i b_i)^2] = E[a_i^2 b_i^2]$ 입니다. $a_i$와 $b_i$가 독립이면 $a_i^2$과 $b_i^2$도 독립입니다. 따라서 기대값을 분리할 수 있습니다.
$$E[a_i^2 b_i^2] = E[a_i^2] \cdot E[b_i^2]$$
$E[a_i^2]$와 $E[b_i^2]$는 어떻게 구할까요? $a_i$의 분산 공식을 이용합니다.
$$Var(a_i) = E[a_i^2] - (E[a_i])^2$$
주어진 조건 $Var(a_i) = 1$과 $E[a_i] = 0$을 대입하면,
$$1 = E[a_i^2] - (0)^2$$

$$\therefore E[a_i^2] = 1$$
마찬가지 방식으로 $E[b_i^2] = 1$ 입니다.

두 값을 $E[a_i^2 b_i^2]$ 식에 대입하면,
$$E[a_i^2 b_i^2] = 1 \cdot 1 = 1$$

$Var(a_i b_i)$ 종합:

이제 $E[a_i b_i] = 0$ 과 $E[(a_i b_i)^2] = 1$ 을 2단계의 분산 공식에 대입합니다.
$$Var(a_i b_i) = E[(a_i b_i)^2] - (E[a_i b_i])^2$$

$$Var(a_i b_i) = 1 - (0)^2 = 1$$
이것은 내적을 구성하는 $n$개의 항 각각의 분산이 1이라는 뜻입니다.

3단계: 전체 분산 계산

1단계에서 세운 식으로 돌아갑니다.
$$Var(X) = \sum_{i=1}^n Var(a_i b_i)$$
방금 $Var(a_i b_i) = 1$ 임을 계산했습니다. $n$개의 모든 항에 대해 이 값은 동일합니다.
$$Var(X) = \sum_{i=1}^n 1 = \underbrace{1 + 1 + \ldots + 1}_{n \text{번 더함}}$$

$$\therefore Var(X) = n$$

4. 결론 및 요약

두 $n$차원 벡터의 내적($X = \sum a_i b_i$)은 $n$개의 독립적인 확률 변수($c_i = a_i b_i$)의 합으로 볼 수 있습니다.

각 성분 $a_i, b_i$가 평균 0, 분산 1의 분포를 따를 때, 곱으로 만들어진 $c_i$ 역시 평균이 0 ($E[c_i]=0$)이고 분산이 1 ($Var(c_i)=1$)이 됩니다.

따라서 분산이 1인 독립 변수 $n$개를 더한 값의 총 분산은 $n \times 1 = n$이 됩니다.

이 원리는 머신러닝에서 가중치 초기화(예: Xavier/Glorot 초기화)를 설계하거나, 고차원 공간에서 벡터 간의 관계를 분석(예: Random Projection)할 때 핵심적인 직관을 제공합니다.