이언배 연구노트

때는 바야흐로 엊그제 저녁, 교수님께서 논문을 검토해주시고는"BNN 결과물의 분포로부터 뽑은 샘플의 분산이 uncertainty 라고 해서 시각화한 건 알겠는데, 그 의미를 명확히 하는 게 좋겠다" 는 말씀을 주셨다.  상황은 이렇다,북촌의 보행량을 예측하는 BNN을 만들었고, 그 결과물은 '분포'로 나온다.왜냐하면 도시에서 '확실'한 건 없으니까, 불확실성을 포함한 결과물을 낼 수 있는 머신러닝 모델을 만드는 건 도움이 될 거라고 생각했기 때문.BNN 은 결과물을 확률에 기반한 분포로 주기 때문에, 분포를 알기 위한 샘플의 평균으로 주된 값을 구하고, 그 분포로 결과물의 '불확실성' 을 얻는다. 여기까지가 BNN 을 쓰게 되는 의미있는 사실인데, 세상에마상에나, 보행량은 0~1200이 넘는 수준으로 다..

우리는 총 53개의 Street 들 중 N = 49개의 training set, M = 4 개의 test street이 있으며,K = 16 개의 공간 속성 데이터를 부여하였고,T =24 시간을 추정하며,우리가 설정한 BNN의 layer 갯수 L = 3이다. Training 과정은 다음과 같다.각 도로 Sn (0 도시 공간 데이터 입력은 x_i 로 나타나고,여기에 one-hot encoding 을 적용한 시간 벡터를 합쳐 xit (0 각 도로 Sn 에 상응하는 hourly pedestrian volume 은 yit 로, training 의 output 이 된다. 기존 neural network 와 달리, BNN 은 각 layer 의 파라미터를 단일 숫자가 아닌 확률 분포의 형태로 가진다는 것이 특징이며, ..

나는 아무리 봐도 연속확률분포들이 너무 헷갈린다.Conjugate family 들끼리 정리가 한 번 필요하구나 싶다. 1-1. 이항 분포(Binomial Distribution) - n번 중에 몇 번 성공?$$f(k; n, p) ={n \choose k}p^k (1-p)^{n-k}$$ 성공확률 $p$, 성공횟수$k$ 내가 좌판에서 핫도그 장사를 한다고 치자.핫도그 살 확률이 40%인 사람  10명이 지나갈 때,  그 중 3명이 핫도그를 사간다면 k=3, p = 0.4(참고:- 기하분포 $f(x) = p(1-p)^{x-1}$ 는 첫 번째 성공까지의 시행 횟수, 즉 성공까지 몇 트?- 음이항분포 $f(x) = {{x-1} \choose {r-1}}p^r(1-p)^{x-r}$ x는 r번째 성공까지의 시행 횟수..

베이지안 추론에서 관심있는 건, 사전분포 $\pi(\theta)$가 주어졌을 때, 사후분포$$E\left[ g(\theta) | y \right] = \frac{\int_{\Theta} g(\theta) p(y | \theta) \pi (\theta) d\theta}{\int_{\Theta} p(y|\theta) \pi(\theta) d\theta}$$ $g(\theta) = I_A (\theta)$: 신용구간을 구하겠다.$g(\theta) = \theta$: 사후평균 $\hat{\theta}$ 을 구하겠다.$g(\theta) = (\theta - \hat{\theta})^2)$: 사후분산을 구하겠다. 결국 우리가 관심있는 값을 구하려면 적분을 피할 수 없다는 뜻이다. 젠장. 1. 수치적분사후평균 $g(..

실생활에서 통계라 함은 서로 연관되어있는(독립적이지 않은) 여러 모수 관계를 포함해서 추정하는 일이 발생.여러가지 다른 세팅에서 나온 결과물들을 가지고 원래 세팅이 어떻게 구성되어있는지를 찾는 과정이라는 뜻. 예를 들어 내가 지금 벌고 있는 돈($y$)은 지금까지 거쳐온 초 중 고등학교에서의 내 선택과 성장($\theta_1, \theta_2, ...$) 들의 결과물이랄까... 이 때 계층적모형을 활용하는데, 방법은 모수를 모형화하고, 그 모수를 초모수(hyperparameter)라는 추가적인 모수로 다시 모형화하는 방법.우리는 세팅($\theta$) 들의 관계를 찾아야 하니, 세팅의 세팅($\lambda$) 를 찾아서 세팅들의 관계를 유추하자는 의미.계층적 모형 (Bayesian hierarchical..

1. 점추정보통 사후평균(posterior mean 사후분포의 평균), 사후중앙값(posterior median 비대칭사후분포에서 많이 쓰임), 사후최빈값(posterior mode 우도함수$p(\theta | y)$를 최대화하는, 그러니까 "지금 나온 y들을 잘 내놓음직한")가 있다. 사후평균은 $E(\theta | y)$, 즉 사후확률의 기댓값을 구하는 거고, 추정의 정확도인 사후평균제곱오차 $V_\delta (y) = E\left[(\delta(y) - \theta)^2 | y \right]$ 를 사용. 추정값과 $\theta$ 의 차이가 가지는 기댓값 다변량의 경우에는 보통 MAP(사후최빈값) 를 많이 씀. 2. 신용구간○ 프리퀀시스트들의 신뢰구간(confidence interval) 95%: 여..

베이지안 모수추정, 즉 기본 세팅 $\theta$ 의 정보를 알아내는 것은,우리가 알고 있는 정보인 관측치$y$가 있다고 치고, 원래 세팅은 무엇인지 그 확률 분포를 알아내는사후분포($P(\theta | y)$)의 추정 과정이라고 할 수 있다. 이를 위해서 기본 세팅 $\theta$ 가 무엇인지에 따라 관측치가 나올 경향성 (우도함수 $P(y | \theta)$) 을 바탕으로사후분포($P(\theta | y)$) 가 무엇이 나올 것인지 원래 세팅이라고 믿었던 분포를 업데이트 시켜나가면 되는 것인데, 문제는 원래 세팅($P(\theta)$) 를 모른다는 것이다.그래서 적절히 세팅($P(\theta)$)을 찍는 과정이 필요하다. 1. 세팅에 대한 정보가 있음 -> 공액사전분포conjugate prior 로 ..

1. 우도함수우리가 관측치($y$) 로부터 모수($\theta$) 를 추정한다 함은,결과물($y$)을 보고, 이 결과물이 어떤 세팅($\theta$)에서 나왔는지를 추정하는 과정이라 할 수 있다.프리퀀티스트들은 "결과물을 겁나 뽑았을 때 역으로 추측한 모수가 우리가 예상한 범위 내에 들어오는가?" 를 본다면,베이지안들은 "우리가 예상한 세팅이 실제로 적합할 확률은 얼마인가?" 를 본다. 우도함수는 세팅($\theta$) 이 있다 치고, 그 세팅에서우리가 관측한 결과들 ($y_1, y_2, ...$) 들이 나올 확률은 얼마나 되는가? 이다. 있다 치니까, 조건부확률이고,우리가 관측한 결과들이 쭉 나올 확률이니까 여기는 곱이다. 그래서 $P(y_1, y_2, ... | \theta) $ 가 우도함수(like..