우도함수(Likelihood) 와 베이지안 패러다임

1. 우도함수

우리가 관측치($y$) 로부터 모수($\theta$) 를 추정한다 함은,

결과물($y$)을 보고, 이 결과물이 어떤 세팅($\theta$)에서 나왔는지를 추정하는 과정이라 할 수 있다.

프리퀀티스트들은 "결과물을 겁나 뽑았을 때 역으로 추측한 모수가 우리가 예상한 범위 내에 들어오는가?" 를 본다면,

베이지안들은 "우리가 예상한 세팅이 실제로 적합할 확률은 얼마인가?" 를 본다.

 

우도함수는 세팅($\theta$) 이 있다 치고, 그 세팅에서

우리가 관측한 결과들 ($y_1, y_2, ...$) 들이 나올 확률은 얼마나 되는가? 이다.

 

있다 치니까, 조건부확률이고,

우리가 관측한 결과들이 쭉 나올 확률이니까 여기는 곱이다.

 

그래서 $P(y_1, y_2, ... | \theta) $ 가 우도함수(likelihood)이다.

 

우도함수가 크다는 얘기는,

우리가 정한 세팅에서 샘플이 나온다고 쳤을 때 관측한 결과들이 나오는 게 합리적이라는 말이다.

 

2. 베이지안 패러다임

그래서 우리는 "가장 적당한 세팅" 을 찾는 것을 베이지안 모수 추정의 원칙으로 본다.

애당초에 세팅($\theta$) 자체도 하나의 숫자가 아니고, 여러 개의 숫자 중 가장 적당한 수를 바탕으로 찾는 거고,

관측한 결과물($y_1, y_2...$) 도 하나의 숫자가 아니고 여러 개의 숫자이니

벡터로 벡터를 찾는 과정이고,

관측치와 모수 모두에 대해 확률 모형을 사용한다.