이언배 연구노트

Dataframe 은 어렵다그래서 geodataframe 은 더 어렵다그래서 geomdataframe 을 postgis로 보내는 건 더 어렵다. 일단, dataframe 가 geometry 를 가지고 있다고 가정하자.csv, sql로 불러온 geometry column 은 'text' 형태로 불러진다. 우리는 text 를 geometry 로 바꿔줄 필요가 있다. # text 형태의 geometry --> geometry object 형태의 geometry# 내 데이터는 '01060000203B1400000100000001030000000' 이렇게 생겼었다. fromhex 를 쓸 때 주의할 것df['geom'] = df['geom'].apply(lambda x: wkb.loads(bytes.fromhex(..

내가 서울사람이 아니어서 슬프지만,궁금하긴 하다. 연령대별로 사람들은 어딜 놀러다닐까.데이터는 생활인구 이동데이터서울 생활이동> 서울빅데이터 | 서울열린데이터광장 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr그리고 행정동 코드 데이터브이월드 공간정보 다운로드 브이월드국가가 보유하고 있는 공개 가능한 공간정보를 모든 국민이 자유롭게 활용할 수 있도록 다양한 방법을 제공합니다.www.vworld.kr 이제 연령대별로 어딜 놀러다니는지 보자.기준은1. 23년 11월 기준2. 주중, 주말 구분 없이3. 17시 ~ 24시 사이에4. 행정동에 도착한 사람들 중5. 놀러 온 사람들 (집에서 여가, 업무에서 여가, 여가에서 여가)의6. 연령대별 합을구해보자. import psycopg2..

SHAP 은 날 미치게 해...왜냐하면 솔직히 잘 모르고 쓰기 시작했거든...진짜 모르는데 어떻게 썼지...? 문제가 심각하다지금 문제에 봉착하게 된 건 SHAP value 결과물을 저장하고 꺼내는 과정에서 시작되었지...한 번 돌아갈 때 940분 걸리는 코드를 세번이나 돌렸어...빌어먹을... 문제는... 한 번 더 돌려야돼... 우선 데이터를 불러오고, 학습모델을 돌린다.나는 Tree 모델을 썼으니, Random Forest 기준으로 작성한다. import pandas as pdfrom sklearn.linear_model import LinearRegression, LogisticRegressionimport numpy as npfrom scipy import stats from sklearn.me..

내가 쓸 모델들은 총 4개. 1. Multinomial Logit Regression from sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import accuracy_score, confusion_matrix, precision_score, recall_score, f1_scorefrom sklearn.model_selection import train_test_split######################학습, 테스트 셋 구분# Split the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, Y, test..

데이터 구축이 끝났다.이제 지난번에 거쳤던 요리의 과정을 고스란히 다시 거쳐보는 작업이 남아있다.결과가 어떻게 나올지는 나도 잘 모른다.그냥 해야할 것을 차근차근 해보자.1. 전처리# 불러올 column들을 지정해주자.col_names = ['pmid', 'title', 'cls_main', 'digi_type', 'gro_flo_co', 'und_flo_co', 'total_area', 'bdtyp_cd', 'roa_cls_se', 'rds_dpn_se', 'road_bt', 'buld_age', 'dist_tord', 'dist_toapt', 'dist_tocbd', 'dist_tostation', 'mlsfc_cl']# 위 column 들로 query 문을 작성해보자.col_t..

진짜 되도록이면 하나하나 map.naver.com/ 으로 쿼리하는 짓은 하고싶지 않다...그래도 NAVER API 는 공식적으로 제공해주는 데이터니까 조금 낫지 않을까?최소한, 정제되어있는 형태의 무언갈 주지 않을까...? 하는 기대에 NAVER API 를 무턱대고 시작해보았다. 1. NAVER Developers 에 가입하기네이버 개발자 센터 - NAVER Developers NAVER Developers네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음developers.naver.com로 접근해서 API 신청에 필요한 정보를 얻으려고 했다.며칠 걸..

Task:CSV 파일을 파이썬으로 읽어 PostGRES 데이터베이스로 만들어보자. CSV 를 데이터베이스로 옮기는 일은 매우 귀찮다.사실 PostGRES 에서 테이블을 만든 후, Import 기능을 활용하는 것이 가장 쉽긴 하지만,안타깝게도 이것을 위해서는 우선 테이블을 생성해야 한다는 번거로움이 있다.  열어보고 싶지 않은 파일을 데이터베이스화 하려고 하는 건데,데이터베이스 내부에서 테이블을 생성하기 위해 파일을 열어봐야하는 이 아이러니 함. 귀찮을 때에는 파이썬한테 시키는 게 제일 좋다. 1. Connect 생성지금껏 파이썬+PostGRES 호환을 위해 psycopg2 모듈을 믿어왔건만,Pandas 는 sqlalchemy 에서 더욱 호환이 잘된다고 한다.그리고 1.4.16 버젼 이상에서 호환이 더 잘..

Task: 도로 geometry 를 바탕으로 Network Centrality 분석에 활용하기 위한 Adjacency Matrix 생성 및 결과 값을 기반으로 한 shp 파일을 만들자. 네트워크 분석은 도시 공간 분석에서 빼놓지 않고 등장하는 떡밥이다. 공간을 수치화하여 정량적으로 분석할 수 있다니, 군침이 줄줄 흐른다. 위와 같은 task를 위해 물론 Boeing 이 개발한 Open Street Map 과 NetworkX 를 활용할 수 있고, 충분한 결과물을 내주지만 해당 분석은 "도로의 결절점" 을 중심으로 포인트를 내어준다는 점에서 도로 기반의 분석을 하고픈 우리에게 썩 기분좋은 일은 아니다. 도로의 인접 여부를 바탕으로 Adjacency Matrix 를 구성하고, Network centrality..