이언배 연구노트

우리는 총 53개의 Street 들 중 N = 49개의 training set, M = 4 개의 test street이 있으며,K = 16 개의 공간 속성 데이터를 부여하였고,T =24 시간을 추정하며,우리가 설정한 BNN의 layer 갯수 L = 3이다. Training 과정은 다음과 같다.각 도로 Sn (0 도시 공간 데이터 입력은 x_i 로 나타나고,여기에 one-hot encoding 을 적용한 시간 벡터를 합쳐 xit (0 각 도로 Sn 에 상응하는 hourly pedestrian volume 은 yit 로, training 의 output 이 된다. 기존 neural network 와 달리, BNN 은 각 layer 의 파라미터를 단일 숫자가 아닌 확률 분포의 형태로 가진다는 것이 특징이며, ..

지식그래프와 시멘틱 웹, 그리고 도시 공간. 1. 지식그래프 (김학래, 커뮤니케이션북스)○ 데이터의 연결을 넘어 데이터에 의미를 부여해야 했었는데, 데이터가 증가하고 분산되어 있어서 여기에 의미를 부여하고자 시작된 것이 시멘틱 웹(Semantic Web), 제안 by 팀 버너스리(Tim Berners-Lee)○ 시멘틱 웹은  기계가 정보의 의미를 이해하고 처리할 수 있는 거대한 정보의 공간.지식을 표현하는 방법, 지식에 접근하기 위해 질의하는 방법, 지식의 추론 기법 등 표준화○ 링크드 데이터(linked data) 는 레거시 데이터에 시맨틱 웹 기술을 적용, 대규모 데이터를 시맨틱 데이터로 변환하는 기법.○ 지식그래프(by 구글) 는 온톨로지, 링크드 데이터 개념과 구현 방식이 유사.  기계가 인간과 ..

나는 아무리 봐도 연속확률분포들이 너무 헷갈린다.Conjugate family 들끼리 정리가 한 번 필요하구나 싶다. 1-1. 이항 분포(Binomial Distribution) - n번 중에 몇 번 성공?$$f(k; n, p) ={n \choose k}p^k (1-p)^{n-k}$$ 성공확률 $p$, 성공횟수$k$ 내가 좌판에서 핫도그 장사를 한다고 치자.핫도그 살 확률이 40%인 사람  10명이 지나갈 때,  그 중 3명이 핫도그를 사간다면 k=3, p = 0.4(참고:- 기하분포 $f(x) = p(1-p)^{x-1}$ 는 첫 번째 성공까지의 시행 횟수, 즉 성공까지 몇 트?- 음이항분포 $f(x) = {{x-1} \choose {r-1}}p^r(1-p)^{x-r}$ x는 r번째 성공까지의 시행 횟수..

베이지안 추론에서 관심있는 건, 사전분포 $\pi(\theta)$가 주어졌을 때, 사후분포$$E\left[ g(\theta) | y \right] = \frac{\int_{\Theta} g(\theta) p(y | \theta) \pi (\theta) d\theta}{\int_{\Theta} p(y|\theta) \pi(\theta) d\theta}$$ $g(\theta) = I_A (\theta)$: 신용구간을 구하겠다.$g(\theta) = \theta$: 사후평균 $\hat{\theta}$ 을 구하겠다.$g(\theta) = (\theta - \hat{\theta})^2)$: 사후분산을 구하겠다. 결국 우리가 관심있는 값을 구하려면 적분을 피할 수 없다는 뜻이다. 젠장. 1. 수치적분사후평균 $g(..

실생활에서 통계라 함은 서로 연관되어있는(독립적이지 않은) 여러 모수 관계를 포함해서 추정하는 일이 발생.여러가지 다른 세팅에서 나온 결과물들을 가지고 원래 세팅이 어떻게 구성되어있는지를 찾는 과정이라는 뜻. 예를 들어 내가 지금 벌고 있는 돈($y$)은 지금까지 거쳐온 초 중 고등학교에서의 내 선택과 성장($\theta_1, \theta_2, ...$) 들의 결과물이랄까... 이 때 계층적모형을 활용하는데, 방법은 모수를 모형화하고, 그 모수를 초모수(hyperparameter)라는 추가적인 모수로 다시 모형화하는 방법.우리는 세팅($\theta$) 들의 관계를 찾아야 하니, 세팅의 세팅($\lambda$) 를 찾아서 세팅들의 관계를 유추하자는 의미.계층적 모형 (Bayesian hierarchical..

1. 점추정보통 사후평균(posterior mean 사후분포의 평균), 사후중앙값(posterior median 비대칭사후분포에서 많이 쓰임), 사후최빈값(posterior mode 우도함수$p(\theta | y)$를 최대화하는, 그러니까 "지금 나온 y들을 잘 내놓음직한")가 있다. 사후평균은 $E(\theta | y)$, 즉 사후확률의 기댓값을 구하는 거고, 추정의 정확도인 사후평균제곱오차 $V_\delta (y) = E\left[(\delta(y) - \theta)^2 | y \right]$ 를 사용. 추정값과 $\theta$ 의 차이가 가지는 기댓값 다변량의 경우에는 보통 MAP(사후최빈값) 를 많이 씀. 2. 신용구간○ 프리퀀시스트들의 신뢰구간(confidence interval) 95%: 여..

베이지안 모수추정, 즉 기본 세팅 $\theta$ 의 정보를 알아내는 것은,우리가 알고 있는 정보인 관측치$y$가 있다고 치고, 원래 세팅은 무엇인지 그 확률 분포를 알아내는사후분포($P(\theta | y)$)의 추정 과정이라고 할 수 있다. 이를 위해서 기본 세팅 $\theta$ 가 무엇인지에 따라 관측치가 나올 경향성 (우도함수 $P(y | \theta)$) 을 바탕으로사후분포($P(\theta | y)$) 가 무엇이 나올 것인지 원래 세팅이라고 믿었던 분포를 업데이트 시켜나가면 되는 것인데, 문제는 원래 세팅($P(\theta)$) 를 모른다는 것이다.그래서 적절히 세팅($P(\theta)$)을 찍는 과정이 필요하다. 1. 세팅에 대한 정보가 있음 -> 공액사전분포conjugate prior 로 ..

1. 우도함수우리가 관측치($y$) 로부터 모수($\theta$) 를 추정한다 함은,결과물($y$)을 보고, 이 결과물이 어떤 세팅($\theta$)에서 나왔는지를 추정하는 과정이라 할 수 있다.프리퀀티스트들은 "결과물을 겁나 뽑았을 때 역으로 추측한 모수가 우리가 예상한 범위 내에 들어오는가?" 를 본다면,베이지안들은 "우리가 예상한 세팅이 실제로 적합할 확률은 얼마인가?" 를 본다. 우도함수는 세팅($\theta$) 이 있다 치고, 그 세팅에서우리가 관측한 결과들 ($y_1, y_2, ...$) 들이 나올 확률은 얼마나 되는가? 이다. 있다 치니까, 조건부확률이고,우리가 관측한 결과들이 쭉 나올 확률이니까 여기는 곱이다. 그래서 $P(y_1, y_2, ... | \theta) $ 가 우도함수(like..