계층적 모형

실생활에서 통계라 함은 서로 연관되어있는(독립적이지 않은) 여러 모수 관계를 포함해서 추정하는 일이 발생.

여러가지 다른 세팅에서 나온 결과물들을 가지고 원래 세팅이 어떻게 구성되어있는지를 찾는 과정이라는 뜻.

 

예를 들어 내가 지금 벌고 있는 돈($y$)은 지금까지 거쳐온 초 중 고등학교에서의 내 선택과 성장($\theta_1, \theta_2, ...$) 들의 결과물이랄까...

 

이 때 계층적모형을 활용하는데, 방법은 모수를 모형화하고, 그 모수를 초모수(hyperparameter)라는 추가적인 모수로 다시 모형화하는 방법.

우리는 세팅($\theta$) 들의 관계를 찾아야 하니, 세팅의 세팅($\lambda$) 를 찾아서 세팅들의 관계를 유추하자는 의미.

계층적 모형 (Bayesian hierarchical model) 을 구체적으로 표현하면

i. $y_1, ..., y_n | \theta_1, ..., \theta_n , \lambda \overset{\underset{\mathrm{ind}}{}}{\sim} p(\y_i | \theta_i)$ (우도 결정)

ii. $\theta_1, ..., \theta_n | \lambda \overset{\underset{\mathrm{ind}}{}}{\sim} \pi(\theta_i | \lambda) $ ($\lambda$로 사전분포 결정)

iii. $\lambda \sim \pi(\lambda)$ ($\lambda$의 사전분포 결정)

 

이 때, $\pi (\theta_1, .., \theta_n) = \int \prod^{n}_{i=1} \pi (\theta_i | \lambda) \pi (\lambda) d\lambda$ 이니까, $\theta$들끼리는 더이상 독립이 아님.

 

계층적 베이즈분석: 단계 iii처럼 $\lambda$의 사전분포 결정해서 $ \theta_1, .., \theta_n$의 사후평균을 구함

경험적 베이즈분석: $y_1, ..., .y_n$ 의 주변확률분포로 $\lambda$ 를 추정해 $ \theta_1, .., \theta_n$의 사후분포 추론에 사용