로지스틱 회귀: 오즈, 로짓 함수, 로지스틱 함수의 관계

오즈, 로짓 함수, 로지스틱 함수는 로지스틱 회귀가 선형 모델의 결과를 (0, 1) 사이의 확률로 어떻게 변환하는지를 보여주는 중요한 요소들입니다.

1. 오즈 (Odds)

오즈는 어떤 사건이 일어날 확률을 일어나지 않을 확률로 나눈 값입니다. 확률과 비슷한 개념이지만, 표현 방식이 다릅니다.

• 확률 ($p$): 전체 시도 중 특정 사건이 일어날 비율 (0과 1 사이의 값)
• 오즈: 성공 확률과 실패 확률의 비율 (0과 무한대 사이의 값)

수식으로 표현하면 다음과 같습니다.

$$\text{Odds} = \frac{p}{1-p}$$

여기서 $p$는 사건이 일어날 확률입니다.

예시

어떤 팀의 경기 승리 확률($p$)이 80% (0.8)라고 가정해 보겠습니다.

• 승리하지 못할 확률($1-p$)은 20% (0.2)입니다.
• 이때 오즈는 $\frac{0.8}{0.2} = 4$가 됩니다.
• 이는 "승리할 가능성이 패배할 가능성보다 4배 높다"는 의미입니다.

•  

2. 로짓 함수 (Logit Function)

로짓 함수는 오즈에 자연로그(ln)를 취한 값입니다. 이것은 '링크 함수(Link Function)'의 일종으로, 확률 값을 입력받아 실수 범위( $-\infty$ ~ $+\infty$ )의 값으로 변환하는 함수입니다.

로지스틱 회귀의 목적은 $X$와 $Y$ 사이의 관계를 모델링하는 것입니다. 하지만 $Y$는 0 또는 1(즉, 확률 $P$)인데, 우리가 아는 선형 회귀 모델($\beta_0 + \beta_1X$)의 결과값은 음의 무한대에서 양의 무한대까지 가질 수 있습니다.

[0, 1] 범위의 확률 $P$를 [ $-\infty$, $+\infty$ ] 범위의 값으로 바꾸는 다리가 필요하며, 그 역할을 로짓 함수가 합니다.

• 변환 과정:
  
  1. 확률(P): 범위 [0, 1]
  2. 오즈(Odds): $P / (1 - P)$, 범위 [0, $\infty$]
  3. 로그 오즈(Log-Odds) = Logit: $\ln(\frac{P}{1 - P})$, 범위 [$-\infty$, $+\infty$]
• 수식:
      $$\text{logit}(P) = \ln\left(\frac{P}{1 - P}\right)$$
• 로지스틱 회귀 모델:
      이 로짓 변환된 값을 선형 모델로 예측합니다. 이것이 로지스틱 회귀 모델의 기본 형태입니다.
      $$\ln\left(\frac{P}{1 - P}\right) = \beta_0 + \beta_1X_1 + \dots + \beta_nX_n$$

3. 로지스틱 함수 (Logistic Function)

로지스틱 함수는 로짓 함수의 정확히 반대(역함수)입니다.

실수 범위( $-\infty$ ~ $+\infty$ )의 값을 입력받아 (0, 1) 사이의 확률 값으로 변환합니다. 이 때문에 시그모이드(Sigmoid) 함수라고도 불립니다.

• 목적:
      위의 로짓 모델에서 $\beta_0 + \beta_1X$ (줄여서 $z$라고 부름)는 실수 값입니다. 우리가 최종적으로 원하는 것은 $Y=1$일 '확률 $P$'이므로, 이 $z$ 값을 다시 확률 $P$로 되돌려야 합니다.
• 수식:
      로짓 함수 공식을 $P$에 대해 정리하면 로지스틱 함수가 나옵니다.
      * $z = \ln(P / (1 - P))$
      * $e^z = P / (1 - P)$
      * ... (정리하면) ...
      * $P = \frac{e^z}{1 + e^z}$
  
      이 수식은 분모와 분자를 $e^z$로 나누어 다음과 같이 더 흔한 형태로 씁니다.
      $$P(Y=1) = \frac{1}{1 + e^{-z}}$$
      (여기서 $z = \beta_0 + \beta_1X_1 + \dots + \beta_nX_n$ 입니다.)
• 특징:
  
  • 입력($z$)이 아무리 커져도 출력($P$)은 1에 수렴합니다.
  • 입력($z$)이 아무리 작아져도 출력($P$)은 0에 수렴합니다.
  • 입력($z$)이 0일 때, 출력($P$)은 정확히 0.5가 됩니다.

요약: 세 개념의 관계

• 오즈 (Odds): 확률을 다른 방식으로 표현한 것
  • $Odds = \frac{p}{1-p}$
• 로짓 함수 (Logit): 확률($P$) $\rightarrow$ 선형 모델 값($z$) 
  • $z = \ln(P / (1-P))$
  • Odds를 로그 변환하여 선형 모델에 적합할 수 있도록 값의 범위를 실수 전체로 확장 ($z$를 $X$의 선형 결합으로 가정)
• 로지스틱 함수 (Logistic/Sigmoid): 선형 모델 값($z$) $\rightarrow$ 확률($P$)
  
  • $P = 1 / (1 + e^{-z})$
  • 모델의 예측 결과($z$)를 0과 1 사이의 확률로 변환

어느 경우에 모델의 예측 결과를 '로짓'이라고 부르는가?

선형 모델의 예측 값을 로지스틱(시그모이드) 함수에 입력하여 확률을 얻을 때, 이 입력값(즉, 선형 모델의 예측 결과)을 로짓이라고 합니다. 다시 말해, '로짓'은 선형 모델의 예측 값이 로지스틱 함수의 입력으로 사용되어 확률을 도출하는 특정 맥락에서만 그 입력값을 지칭하는 용어입니다.

 

예를 들어, 아래와 같이 단순히 학생들의 키를 예측하는 일반적인 선형 회귀 모델이 있다면, 그 예측 값($y$)은 그냥 '예측된 키'이지 '로짓'이라고 부르지 않습니다.

$$y = \beta_0 + \beta_1 \cdot (\text{몸무게})$$

"로짓은 아무 데나 쓰는 용어가 아니다"