이언배 연구노트

데이터 구축이 끝났다.이제 지난번에 거쳤던 요리의 과정을 고스란히 다시 거쳐보는 작업이 남아있다.결과가 어떻게 나올지는 나도 잘 모른다.그냥 해야할 것을 차근차근 해보자.1. 전처리# 불러올 column들을 지정해주자.col_names = ['pmid', 'title', 'cls_main', 'digi_type', 'gro_flo_co', 'und_flo_co', 'total_area', 'bdtyp_cd', 'roa_cls_se', 'rds_dpn_se', 'road_bt', 'buld_age', 'dist_tord', 'dist_toapt', 'dist_tocbd', 'dist_tostation', 'mlsfc_cl']# 위 column 들로 query 문을 작성해보자.col_t..

NAVER web crawling 결과로 도무지 파악할 수 없었던 인허가 데이터를NAVER API 를 활용해 하나하나 쿼리해본 결과를 csv로 저장해뒀다. 이제 이 결과물을 PostGRES 로 옮겨서 SQL로 다시 한 번 매칭해볼 것이다. 폴더에 저장된 csv 들을 불러들여 PostGRES로 이동시키는 건 간단하다. import pandas as pdfrom sqlalchemy import create_engine #Dataframe -> SQL 에는 sqlalchemy 를 불러오자from glob import glob# csv 파일들 불러오기filenames = glob('./폴더이름이뭐에요/*.csv') #glob 함수에서 '*.csv' 는 모든 csv 파일을 불러준다. 이 결과물은 'text의 리스..

Task:CSV 파일을 파이썬으로 읽어 PostGRES 데이터베이스로 만들어보자. CSV 를 데이터베이스로 옮기는 일은 매우 귀찮다.사실 PostGRES 에서 테이블을 만든 후, Import 기능을 활용하는 것이 가장 쉽긴 하지만,안타깝게도 이것을 위해서는 우선 테이블을 생성해야 한다는 번거로움이 있다.  열어보고 싶지 않은 파일을 데이터베이스화 하려고 하는 건데,데이터베이스 내부에서 테이블을 생성하기 위해 파일을 열어봐야하는 이 아이러니 함. 귀찮을 때에는 파이썬한테 시키는 게 제일 좋다. 1. Connect 생성지금껏 파이썬+PostGRES 호환을 위해 psycopg2 모듈을 믿어왔건만,Pandas 는 sqlalchemy 에서 더욱 호환이 잘된다고 한다.그리고 1.4.16 버젼 이상에서 호환이 더 잘..