이언배 연구노트

베이지안 추론에서 관심있는 건, 사전분포 $\pi(\theta)$가 주어졌을 때, 사후분포$$E\left[ g(\theta) | y \right] = \frac{\int_{\Theta} g(\theta) p(y | \theta) \pi (\theta) d\theta}{\int_{\Theta} p(y|\theta) \pi(\theta) d\theta}$$ $g(\theta) = I_A (\theta)$: 신용구간을 구하겠다.$g(\theta) = \theta$: 사후평균 $\hat{\theta}$ 을 구하겠다.$g(\theta) = (\theta - \hat{\theta})^2)$: 사후분산을 구하겠다. 결국 우리가 관심있는 값을 구하려면 적분을 피할 수 없다는 뜻이다. 젠장. 1. 수치적분사후평균 $g(..

실생활에서 통계라 함은 서로 연관되어있는(독립적이지 않은) 여러 모수 관계를 포함해서 추정하는 일이 발생.여러가지 다른 세팅에서 나온 결과물들을 가지고 원래 세팅이 어떻게 구성되어있는지를 찾는 과정이라는 뜻. 예를 들어 내가 지금 벌고 있는 돈($y$)은 지금까지 거쳐온 초 중 고등학교에서의 내 선택과 성장($\theta_1, \theta_2, ...$) 들의 결과물이랄까... 이 때 계층적모형을 활용하는데, 방법은 모수를 모형화하고, 그 모수를 초모수(hyperparameter)라는 추가적인 모수로 다시 모형화하는 방법.우리는 세팅($\theta$) 들의 관계를 찾아야 하니, 세팅의 세팅($\lambda$) 를 찾아서 세팅들의 관계를 유추하자는 의미.계층적 모형 (Bayesian hierarchical..

1. 점추정보통 사후평균(posterior mean 사후분포의 평균), 사후중앙값(posterior median 비대칭사후분포에서 많이 쓰임), 사후최빈값(posterior mode 우도함수$p(\theta | y)$를 최대화하는, 그러니까 "지금 나온 y들을 잘 내놓음직한")가 있다. 사후평균은 $E(\theta | y)$, 즉 사후확률의 기댓값을 구하는 거고, 추정의 정확도인 사후평균제곱오차 $V_\delta (y) = E\left[(\delta(y) - \theta)^2 | y \right]$ 를 사용. 추정값과 $\theta$ 의 차이가 가지는 기댓값 다변량의 경우에는 보통 MAP(사후최빈값) 를 많이 씀. 2. 신용구간○ 프리퀀시스트들의 신뢰구간(confidence interval) 95%: 여..

베이지안 모수추정, 즉 기본 세팅 $\theta$ 의 정보를 알아내는 것은,우리가 알고 있는 정보인 관측치$y$가 있다고 치고, 원래 세팅은 무엇인지 그 확률 분포를 알아내는사후분포($P(\theta | y)$)의 추정 과정이라고 할 수 있다. 이를 위해서 기본 세팅 $\theta$ 가 무엇인지에 따라 관측치가 나올 경향성 (우도함수 $P(y | \theta)$) 을 바탕으로사후분포($P(\theta | y)$) 가 무엇이 나올 것인지 원래 세팅이라고 믿었던 분포를 업데이트 시켜나가면 되는 것인데, 문제는 원래 세팅($P(\theta)$) 를 모른다는 것이다.그래서 적절히 세팅($P(\theta)$)을 찍는 과정이 필요하다. 1. 세팅에 대한 정보가 있음 -> 공액사전분포conjugate prior 로 ..

1. 우도함수우리가 관측치($y$) 로부터 모수($\theta$) 를 추정한다 함은,결과물($y$)을 보고, 이 결과물이 어떤 세팅($\theta$)에서 나왔는지를 추정하는 과정이라 할 수 있다.프리퀀티스트들은 "결과물을 겁나 뽑았을 때 역으로 추측한 모수가 우리가 예상한 범위 내에 들어오는가?" 를 본다면,베이지안들은 "우리가 예상한 세팅이 실제로 적합할 확률은 얼마인가?" 를 본다. 우도함수는 세팅($\theta$) 이 있다 치고, 그 세팅에서우리가 관측한 결과들 ($y_1, y_2, ...$) 들이 나올 확률은 얼마나 되는가? 이다. 있다 치니까, 조건부확률이고,우리가 관측한 결과들이 쭉 나올 확률이니까 여기는 곱이다. 그래서 $P(y_1, y_2, ... | \theta) $ 가 우도함수(like..

1.확률$ P(A) $ : A 가 일어날 확률$ P(AB) $ : A와 B가 동시에 일어날 확률 - 결합확률$ P(A | B) $ : B가 일어났다 치고, A가 일어날 확률 - 조건부확률 예:당연히 전 세계 인구중에 배가 아픈 사람 수와 위염이 있는 사람 수를 알 턱이 없다(사전확률)>> 배가 아플 확률을 P(배)  라고 하자. 위염이 있을 확률은 P(위염) 이다. 하지만 우리가 궁금한 건 배가 아프고 위염이 있는 사람이 몇 명인지가 아니고,위염이 있고 배가 아플 확률은 P(배 위염) 이다. 배가 아프다고 병원에 온 사람이 위염이 있는 건 몇 명인지 이다.>> 배가 아프다 치고 위염이 있을 확률은 P(위염 | 배) 다.  그리고 배도 아픈데다가 위염도 있을 확률보다,배가 아프다치고 병원에 왔더니 위염을 ..