MCMC (Gibbs sampling)

MCMC 중에는 metropolis-hastings와 Gibbs sampling이 있고 이 Gibbs sampling으로 인해 베이지안이 급부상했다고 한다.

여기서 gibbs sampling에 대해 하고자 한다.

 

베이지안 수식을 잘 쓰기 위해서는 다음과 같은 로직을 알아두면 편하다.

 

그럼 이 Gibbs sampling이라는 게 언제 사용하는 건지 알아보자.

 

이 unknown parameter의 분포를 구하기 위해서는 다음과 같은 과정이 필요하다.

 

이런 식으로 총 2만 번 sampling한다.

초기값의 영향을 받을 수 있기 때문에 그 중 앞의 만 개는 버리고,

뒤의 만 개를 갖고 근사화된 분포를 구한다.

그러면 원래 joint distribution과 비슷한 분포를 얻게 된다.