이언배 연구노트

오랜 고민과 망설임은 끝났다.다른 논문들을 살펴본 결과, 내가 믿는 대로 밀고 나가도 충분히 가능하다는 사실을 깨달았다.한번 가보자.내가 build 한 과정은 이렇다. 1. Platformazation 이 진행된 상권, 그렇지 않은 상권을 나누어본다.1-1. 여기서, platform에 등록을 했는지, 그렇지 않은지를 기준으로 그런 곳의 비율이 높은 cell 이 몰려있으면 platformazed 된 지역이라고 본다.1-2. 굳이 platformazed 된 장소 (place) 가 아닌 지역 (area) 을 보는 이유는1-2-1. place 단위까지 확인할 수 있는 정밀한 데이터를 취득할 수 없기 때문이고1-2-2. 이후에 계층별 분석까지 할 건데, '특정 계층의 사람들이 많이 오는' 공간 단위를 설정하고 싶..

Space Syntax 중에서 angular segment analysis 를 돌리면,도로를 자근자근 쪼개서 각 segment로 분리한 뒤,각 segment끼리의 각도를 중심으로 네트워크 분석을 시행한다. 이거로 끝나면 다행이지만, 문제는DepthmapX로 돌려 나온 결과물은 좌표도 딱히 없고, 도로 객체랑 매치도 안된다.그리고 ID column도 사라져있기 때문에, geometry 로 매칭시켜야 한다. 그리고 도로 geometry 는 linestring이기 때문에,"딱 맞는다" 또는 "포함관계" 를 보기가 어렵기 때문에, 도로geometry 에 약간의 buffer를 주고,그 안에 포함되는 segment 의 평균과 합으로 계산해보자는 전략을 취해보자. CREATE TABLE seoul_ped_spaces..

때는 바야흐로 엊그제 저녁, 교수님께서 논문을 검토해주시고는"BNN 결과물의 분포로부터 뽑은 샘플의 분산이 uncertainty 라고 해서 시각화한 건 알겠는데, 그 의미를 명확히 하는 게 좋겠다" 는 말씀을 주셨다.  상황은 이렇다,북촌의 보행량을 예측하는 BNN을 만들었고, 그 결과물은 '분포'로 나온다.왜냐하면 도시에서 '확실'한 건 없으니까, 불확실성을 포함한 결과물을 낼 수 있는 머신러닝 모델을 만드는 건 도움이 될 거라고 생각했기 때문.BNN 은 결과물을 확률에 기반한 분포로 주기 때문에, 분포를 알기 위한 샘플의 평균으로 주된 값을 구하고, 그 분포로 결과물의 '불확실성' 을 얻는다. 여기까지가 BNN 을 쓰게 되는 의미있는 사실인데, 세상에마상에나, 보행량은 0~1200이 넘는 수준으로 다..

내가 서울사람이 아니어서 슬프지만,궁금하긴 하다. 연령대별로 사람들은 어딜 놀러다닐까.데이터는 생활인구 이동데이터서울 생활이동> 서울빅데이터 | 서울열린데이터광장 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr그리고 행정동 코드 데이터브이월드 공간정보 다운로드 브이월드국가가 보유하고 있는 공개 가능한 공간정보를 모든 국민이 자유롭게 활용할 수 있도록 다양한 방법을 제공합니다.www.vworld.kr 이제 연령대별로 어딜 놀러다니는지 보자.기준은1. 23년 11월 기준2. 주중, 주말 구분 없이3. 17시 ~ 24시 사이에4. 행정동에 도착한 사람들 중5. 놀러 온 사람들 (집에서 여가, 업무에서 여가, 여가에서 여가)의6. 연령대별 합을구해보자. import psycopg2..

네이버에 등록이 안된 음식점들은 도대체 어디 몰려있는가...네이버에 등록하지 않은 곤조있는 자영업자들은 어디 계신 건가...이것을 위해 격자별로 NDTP, DTP, ADTP 의 갯수와 비율을 세보고, HOTSPOT 분석까지 해보자. 시작은 데이터를 늘어놓는 것 부터.우선 서울에 250m 그리드를 만들어보자. 그리드를 만들고 싶은 만큼의 레이어를 올려놓고"그리드 생성" 에서 "그리드 유형" 은 사각형 폴리곤으로 둔다."그리드 범위" 를 서울 행정동 전체로 두고,간격은 각각 250m 씩으로 둔다. 250m인 이유는, 250m단위 이동데이터를 쓸 요량도 있고, 적당해보여서다. 이 중에서 서울에 해당하는 부분만 살리고 싶다면"위치로 선택" 에서그리드 레이어에서 행정동 레이어를 비교해서 선택을 하고 반대 객체를 ..

누가 어딜 얼만큼 방문하는가.누가 방문하는 곳에 NDTP의 비율이 높은가.일단, 데이터부터 물어오자. 빅데이터캠퍼스에 가서 50m 단위 데이터를 얻을 수도 있지만, 몇가지 이슈가 있다.1. 50m 단위의 이동 데이터가 생각보다 정확하지 않다는 점2. 연령대, 시간대, 방문목적 별로 분류가 되어있지만, 쟤들을 한번에 엮은 table은 없다는 점 (그러니까, 방문목적에 따른 시간대별, 연령대별 시간대별 등이 없다)3. 종로구 데이터로 이것저것 해봤는데 별 의미가 없더라4. 내 연구의 공간적 단위를 50m로 하는 게 의미가 있나? 없을 수도 있겠다.5. 가기 귀찮다. 그렇다면, 대체할 수 있는 데이터를 서울 열린데이터 광장에서 데이터를 물어와보자.서울 생활이동> 서울빅데이터 | 서울열린데이터광장 열린데이터광장..

서울빅데이터캠퍼스에 방문하면 신한카드 소비 데이터를 받을 수 있다.내가 가지고 있는 건 종로구의 50m 단위의 카드 소비에 관련된 데이터고,집계 방법은... 솔직히 모른다. 일단 이번 쿼리의 목적은종로구 기준으로 그리드에 포함된 DTP, NDTP의 비율과 소비의 성, 연령별 패턴의 관계성을 살펴보는 것이다. 연구에 쓸 수 있는 범위 내에서 query 를 날려보자. /* 식품, 미용, 학원, 헬스클럽 등에 관련된 업종 코드이다("SB_UPJONG" LIKE 'sb001' OR "SB_UPJONG" LIKE 'sb001' OR "SB_UPJONG" LIKE 'sb001' OR "SB_UPJONG" LIKE 'sb002' OR "SB_UPJONG" LIKE 'sb003' OR "SB_UPJONG" LIKE '..

SHAP 은 날 미치게 해...왜냐하면 솔직히 잘 모르고 쓰기 시작했거든...진짜 모르는데 어떻게 썼지...? 문제가 심각하다지금 문제에 봉착하게 된 건 SHAP value 결과물을 저장하고 꺼내는 과정에서 시작되었지...한 번 돌아갈 때 940분 걸리는 코드를 세번이나 돌렸어...빌어먹을... 문제는... 한 번 더 돌려야돼... 우선 데이터를 불러오고, 학습모델을 돌린다.나는 Tree 모델을 썼으니, Random Forest 기준으로 작성한다. import pandas as pdfrom sklearn.linear_model import LinearRegression, LogisticRegressionimport numpy as npfrom scipy import stats from sklearn.me..