이언배 연구노트

당신은 컴퓨터에게 Python 으로 말을 걸 수 있는가.아니, 걸 수 없다.C언어도 안배운 당신은 파이썬으로 컴퓨터와 독대할 수 없다.그럴 줄 알고, 친절한 세계의 프로그래머들이확장팩을 곳곳에 업로드해두었다. 내 컴퓨터에 확장팩 (모듈) 을 모아두고 관리해주는편리한 도서관 (아나콘다) 을 세팅해보자. 대쪽같은 한글 검색, 그리고 영어 결과물 하마터면 순순히 내 이메일을 넘길 뻔했다. Distributino 을 다운받는다. 설치 파일을 가동해본다.1GB나 먹다니, 너무한다.뭐든지 난 동의해 그러니까 나만 바라봐줘 내 컴퓨터의 용량을 들킨다 내가 봤을 때, 체크해야 할 놈은 하나도 없다.특히 Python 3.13 의 default 로 등록한다는 말을 유의해야 하는데,현재 Visual Studio 의 add..

파이썬은 무엇인가기계가 곧 인간을 지배할지도 모른다는 공포감이 엄습하는 이 험난한 세상컴퓨터와의 의사소통을 위한 그들만의 언어, 프로그래밍 언어를 모른다면먼 훗날 AI의 침공 시기에 그들에게 '살려주세요' 라는 애원조차 할 수 없을지도 모른다 컴퓨터와 대화하고 싶다면그들의 언어를 익혀야 한다. Python 을 하고 싶다면Visual studio 부터 깔아보자. 나도 맥북이 있으면 좋겠다나도 돈이 있었으면 좋겠다. 우리는 무료버젼으로 가자 visual studio code 를 설치해보자 설치파일을 실행해보자 동의해보자 이런것까지 써야하나 이런것까지 써야하나 다른 건 몰라도 저 PATH에 추가는 꼭 하자. 저건 나중에 귀찮은 일을 해결해준다 설치하자 자 이제 드넓은 코딩의 세상을 통하는 차원의 문을 열어보..

Dataframe 은 어렵다그래서 geodataframe 은 더 어렵다그래서 geomdataframe 을 postgis로 보내는 건 더 어렵다. 일단, dataframe 가 geometry 를 가지고 있다고 가정하자.csv, sql로 불러온 geometry column 은 'text' 형태로 불러진다. 우리는 text 를 geometry 로 바꿔줄 필요가 있다. # text 형태의 geometry --> geometry object 형태의 geometry# 내 데이터는 '01060000203B1400000100000001030000000' 이렇게 생겼었다. fromhex 를 쓸 때 주의할 것df['geom'] = df['geom'].apply(lambda x: wkb.loads(bytes.fromhex(..

내가 서울사람이 아니어서 슬프지만,궁금하긴 하다. 연령대별로 사람들은 어딜 놀러다닐까.데이터는 생활인구 이동데이터서울 생활이동> 서울빅데이터 | 서울열린데이터광장 열린데이터광장 메인데이터분류,데이터검색,데이터활용data.seoul.go.kr그리고 행정동 코드 데이터브이월드 공간정보 다운로드 브이월드국가가 보유하고 있는 공개 가능한 공간정보를 모든 국민이 자유롭게 활용할 수 있도록 다양한 방법을 제공합니다.www.vworld.kr 이제 연령대별로 어딜 놀러다니는지 보자.기준은1. 23년 11월 기준2. 주중, 주말 구분 없이3. 17시 ~ 24시 사이에4. 행정동에 도착한 사람들 중5. 놀러 온 사람들 (집에서 여가, 업무에서 여가, 여가에서 여가)의6. 연령대별 합을구해보자. import psycopg2..

SHAP 은 날 미치게 해...왜냐하면 솔직히 잘 모르고 쓰기 시작했거든...진짜 모르는데 어떻게 썼지...? 문제가 심각하다지금 문제에 봉착하게 된 건 SHAP value 결과물을 저장하고 꺼내는 과정에서 시작되었지...한 번 돌아갈 때 940분 걸리는 코드를 세번이나 돌렸어...빌어먹을... 문제는... 한 번 더 돌려야돼... 우선 데이터를 불러오고, 학습모델을 돌린다.나는 Tree 모델을 썼으니, Random Forest 기준으로 작성한다. import pandas as pdfrom sklearn.linear_model import LinearRegression, LogisticRegressionimport numpy as npfrom scipy import stats from sklearn.me..

내가 쓸 모델들은 총 4개. 1. Multinomial Logit Regression from sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import accuracy_score, confusion_matrix, precision_score, recall_score, f1_scorefrom sklearn.model_selection import train_test_split######################학습, 테스트 셋 구분# Split the dataset into training and testing setsX_train, X_test, y_train, y_test = train_test_split(X, Y, test..

데이터 구축이 끝났다.이제 지난번에 거쳤던 요리의 과정을 고스란히 다시 거쳐보는 작업이 남아있다.결과가 어떻게 나올지는 나도 잘 모른다.그냥 해야할 것을 차근차근 해보자.1. 전처리# 불러올 column들을 지정해주자.col_names = ['pmid', 'title', 'cls_main', 'digi_type', 'gro_flo_co', 'und_flo_co', 'total_area', 'bdtyp_cd', 'roa_cls_se', 'rds_dpn_se', 'road_bt', 'buld_age', 'dist_tord', 'dist_toapt', 'dist_tocbd', 'dist_tostation', 'mlsfc_cl']# 위 column 들로 query 문을 작성해보자.col_t..

진짜 되도록이면 하나하나 map.naver.com/ 으로 쿼리하는 짓은 하고싶지 않다...그래도 NAVER API 는 공식적으로 제공해주는 데이터니까 조금 낫지 않을까?최소한, 정제되어있는 형태의 무언갈 주지 않을까...? 하는 기대에 NAVER API 를 무턱대고 시작해보았다. 1. NAVER Developers 에 가입하기네이버 개발자 센터 - NAVER Developers NAVER Developers네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음developers.naver.com로 접근해서 API 신청에 필요한 정보를 얻으려고 했다.며칠 걸..