페드텐서 FedTensor

마르코프 체인과 깁스 샘플링, 그리고 이것이 목표로 하는 결합분포로 수렴하는 원리를 직관적인 비유와 단계별 논리로 정리합니다.1. 마르코프 체인(Markov Chain)이란?"바로 직전의 상태만 보고 다음 상태를 결정하는 시스템"입니다.비유 (날씨 모델): 오늘 날씨가 내일 날씨에 영향을 미칩니다. 어제, 그저께 날씨는 까마득히 잊고 '오직 오늘 날씨(현재 상태)'만 가지고 내일 비가 올지, 화창할지의 확률을 계산하여 상태를 이동하는 규칙입니다.핵심 특징:기억 상실성(Memoryless): 과거의 전체 이력은 중요하지 않고, 오직 현재 값 $X_t$에만 의존하여 다음 값 $X_{t+1}$을 뽑습니다.이렇게 상태 이동을 계속 반복(무한히 실행)하다 보면, 어느 순간 각 상태에 머무를 확률이 일정해지는 '정..

이 글에서는 다음 세 가지 질문에 대한 답을 제시합니다.먼저 마르코프 체인이 무엇인지?그 다음 왜 깁스 샘플링이 마르코프 체인인지?마지막으로 왜 그 체인의 불변 분포가 우리가 원하는 결합분포가 되는지?이 세 가지는 처음 접하면 굉장히 추상적으로 느껴지는데, 사실은 다음 한 문장으로 요약할 수 있습니다."깁스 샘플링은 원하는 확률분포를 직접 뽑기 어려울 때, 변수들을 하나씩 번갈아 업데이트하는 마르코프 체인을 만들고, 그 체인을 오래 돌리면 결국 우리가 원하는 결합분포를 따르게 되는 방법이다." 아래 순서대로 이해해 보겠습니다.1. 마르코프 체인이란 무엇인가?가장 직관적인 예는 방을 이동하는 사람입니다. 방이 3개 있다고 하겠습니다.A방B방C방사람은 매 분마다 방을 옮깁니다. 규칙은 다음과 같습니다. 현..