베이지안 추론

1. 점추정

보통 사후평균(posterior mean 사후분포의 평균), 사후중앙값(posterior median 비대칭사후분포에서 많이 쓰임), 사후최빈값(posterior mode 우도함수$p(\theta | y)$를 최대화하는, 그러니까 "지금 나온 y들을 잘 내놓음직한")가 있다.

 

사후평균은 $E(\theta | y)$, 즉 사후확률의 기댓값을 구하는 거고, 

추정의 정확도인 사후평균제곱오차 $V_\delta (y) = E\left[(\delta(y) - \theta)^2 | y \right]$ 를 사용. 추정값과 $\theta$ 의 차이가 가지는 기댓값

 

다변량의 경우에는 보통 MAP(사후최빈값) 를 많이 씀.

 

2. 신용구간

○ 프리퀀시스트들의 신뢰구간(confidence interval) 95%: 여러번 반복해서 표본을 추출하면 95% 구간 내에는 반드시 모수를 포함함

○ 베이지안의 신용구간(credible interval) 95%: 모수를 포함하는 확률이 높은 구간.

 

사후분포 $p(\theta|y_1, ..., y_n)$이 주어졌을 때 신용구간 찾는 법

(a) $p(\theta | y_1, ..., y_n)=k$를 만족하는 모든 해를 찾는 서브루틴을 만듦. 여기서 $\theta_1(k) < \theta_2(k)$ 인 두 해를 찾았다고 치자

(b) $C_k = \left[\theta_1(k), \theta_2(k) \right]$ 라는, $\theta_1(k) ~ \theta_2(k)$ 까지의 구간을 가정하고

$p(\theta \in C(k) | y_1, ..., y_n) = \int_{\theta_1(k)}^{\theta_2(k)}p(\theta | y_1, ..., y_n) d\theta$ 를 구함, 그러니까 저 구간 안에 있는 모든 $\theta$ 후보군들이 $y1, ..., y_n$ 에서 나올 확률을 계산

(c) k 를 바꿔가면서 $p(\theta \in C(k) | y_1, ..., y_n) = 0.95$ 인 $C_k$ 를 반복적으로 돌아가면서 찾음.

 

3. 가설검정

○ 프리퀀시스트의 가설검정: $H_0: \theta \in \mathit{\Theta}_0$, $H_1: \theta \in \mathit{\Theta}_1$ 에 대한 오류의 확률에 근거

○ 베이지안의 가설검정: $H_0$의 사후확률 $\alpha_0 = P(\theta \in \mathit{\Theta}_0 | y$ 와 $H_1$의 사후확률 $\alpha_1 = P(\theta \in \mathit{\Theta}_1 | y$ 의 각각 확률을 구해서 큰 거를 고르면 됨.

 

가설 $H_0$를 지지하는 베이즈 인자(Bayes factor; BF) 의 식은

$BF = \frac{\alpha_0 / \alpha1}{\pi _ 0 / \pi _ 1}$ = \frac{\alpha_0 / \pi_0}{\alpha_1 / \pi_1}$, 즉

가설 $H_1$에 대한 가설 $H_1$ 의 사후 오즈(posterior odds) / 가설 $H_1$에 대한 가설 $H_1$ 의 사전 오즈(prior odds) 와 같다. 

 

쉽게 봐서, $H_0: \theta = \theta_0$ 랑 $H_1: \theta = \theta_1$ 이랑 비교한다고 치자.

각각 사후확률은 베이즈 정리에 의해

$$\alpha_0 = \pi_0 p(y | \theta_0) / \left[\pi_0 p(y|\theta_0) + \pi_1 p(y|\theta_1) \right]$$

$$\alpha_1 = \pi_1 p(y | \theta_1) / \left[\pi_0 p(y|\theta_0) + \pi_1 p(y|\theta_1) \right]$$

 

그럼 $H_1$에 대한 $H_0$의 사후 오즈는 $\frac{\alpha_0}{\alpha_1} = \frac{\pi_0 p(y|\theta_0)}{\pi_1 p(y|\theta_1)}$

그럼 $H_0$   의 베이즈인자  $BF = \frac{\alpha_0 \pi1}{\alpha1 \pi_0}$ = \frac{p(y|\theta_0}{p(y|\theta_1)}

결국 우도비(likelihood ratio) 임.

축구선수 우도기

그냥 $H_0$ 이랑 $H_1$의 확률 비율이고, 이 비율이 크면 (BF>15) 아주 강한 증거, 12~150사이면 강한증거, 3~12면 긍정적 증거, 1~3이면 약한 증거, <1이면 H1을 지지하는 거다.