함수의 형태가 변하지 않음과 변함

'함수의 형태가 변하지 않는다'는 표현은 수학과 물리학에서 척도 불변성(Scale Invariance)을 의미하는 핵심적인 개념입니다. 단순히 그래프가 비슷하게 생겼다는 뜻을 넘어, "시스템을 관찰하는 줌(Zoom) 렌즈를 조절해도 내부의 작동 규칙이 일관되게 유지되느냐"가 구분 기준이 됩니다.

1. 수학적 구분 기준: 자기 유사성 (Self-similarity)

가장 명확한 기준은 "입력값을 $n$배 키웠을 때, 결과값의 변화가 입력값($x$)과 독립적인가?"입니다.

수학적 구분 기준: 자기 유사성

형태가 변하지 않는 경우 (멱함수)

$$f(nx) = C(n) \cdot f(x)$$

• 여기서 $C(n)$은 오직 배수($n$)에만 의존하는 상수입니다.
• 의미: $x$가 $1$이든 $1,000,000$이든, 입력을 $n$배 키우면 결과는 항상 똑같이 $n^k$배만큼만 변합니다. $x$의 위치에 따라 함수의 성질이 달라지지 않으므로 '형태가 변하지 않는다'고 합니다.

형태가 변하는 경우 (지수 함수 등)

$$f(x) = e^x \text{ 일 때, } f(nx) = e^{nx} = (e^x)^n$$

• 의미: 여기서는 결과값이 $f(x)$에 단순한 상수를 곱한 형태가 아니라, $f(x)$를 $n$제곱해야 합니다. 즉, $x$가 커질수록 배율 자체가 기하급수적으로 폭발합니다. 작은 $x$에서의 그래프 모습과 큰 $x$에서의 그래프 모습이 질적으로 완전히 달라지기 때문에 '형태가 변한다'고 봅니다.

2. 시각적/기하학적 구분 기준: Log-Log 그래프의 직선성

데이터 과학자나 시스템 설계자에게 가장 실용적인 기준은 로그-로그(Log-Log) 좌표계에서의 모습입니다.

• 변하지 않는 형태: 어느 구간을 잘라 보아도 직선의 기울기($k$)가 일정합니다. 현미경으로 보든 망원경으로 보든 똑같은 기울기의 직선만 보입니다. (프랙탈 구조)
• 변하는 형태: 관찰하는 범위(Scale)를 바꾸면 그래프의 곡률(Curvature)이 바뀝니다. 어느 지점에서는 완만하다가 어느 지점에서는 급격해집니다. 이는 시스템이 특정 크기(Scale)에 따라 서로 다른 물리 법칙의 지배를 받고 있다는 뜻입니다.

3. 물리적 구분 기준: 특성 척도(Characteristic Scale)의 유무

• 형태가 변하는 시스템 (Scale-dependent): "평균"이나 "반감기" 같은 대표적인 숫자가 존재합니다.
  • 예: 사람의 키(평균 $173\text{cm}$), 원자의 반감기. 이 숫자를 기준으로 '큰 것'과 '작은 것'의 구분이 명확하며, 기준에서 멀어질수록 시스템의 성질(형태)이 급변합니다.
• 형태가 변하지 않는 시스템 (Scale-free): 시스템을 대표하는 단일한 크기가 없습니다.
  • 예: 지진, 인터넷 네트워크, 그리고 연합학습의 손실값 감쇠. 학습 1라운드에서의 메커니즘이나 1,000라운드에서의 메커니즘이 근본적으로 동일한 질서(멱법칙) 아래에 있습니다. 그래서 10라운드 데이터만 보고도 1,000라운드 뒤를 예측할 수 있는 것입니다.

요약

구분 기준	형태가 변하지 않음 (Power Law)	형태가 변함 (Exponential, etc.)
수학적 조건	$f(nx) = n^k f(x)$	$f(nx) \neq \text{constant} \cdot f(x)$
대표 척도	없음 (Scale-free)	있음 (Characteristic scale)
예측 가능성	국소적 관찰로 전체 예측 가능	국소적 관찰만으로는 전체 예측 불가