이언배 연구노트

NAVER web crawling 결과로 도무지 파악할 수 없었던 인허가 데이터를NAVER API 를 활용해 하나하나 쿼리해본 결과를 csv로 저장해뒀다. 이제 이 결과물을 PostGRES 로 옮겨서 SQL로 다시 한 번 매칭해볼 것이다. 폴더에 저장된 csv 들을 불러들여 PostGRES로 이동시키는 건 간단하다. import pandas as pdfrom sqlalchemy import create_engine #Dataframe -> SQL 에는 sqlalchemy 를 불러오자from glob import glob# csv 파일들 불러오기filenames = glob('./폴더이름이뭐에요/*.csv') #glob 함수에서 '*.csv' 는 모든 csv 파일을 불러준다. 이 결과물은 'text의 리스..

소스가 다른 두 데이터를 주소 기반으로 병합해서 표기해보자. naver_place 의 데이터는포인트 geom, 이름, (도로명) 주소 등. permit_place 의 데이터는title, (도로명) 주소 + (동), (손실이 많은) 포인트 geom, 개업일 등.  우선,1. 지난번에 고생했던 인덱싱을 개선하기 위해 두 데이터 소스에 각기 다른 id column 이름과 id 를 부여한다.2. 주소를 기반으로 같은 건물에 있는 장소들을 분류한다.3. 이름이 비슷한 녀석이 있으면, 인허가 데이터를 DTP로 분류한다. 일단, id 먼저 부여하자.naver_place 의 아이디는 nid 로, permit_place 의 아이디는 pmid 로 column 을 지정하겠다.--------------------------S..

Task:CSV 파일을 파이썬으로 읽어 PostGRES 데이터베이스로 만들어보자. CSV 를 데이터베이스로 옮기는 일은 매우 귀찮다.사실 PostGRES 에서 테이블을 만든 후, Import 기능을 활용하는 것이 가장 쉽긴 하지만,안타깝게도 이것을 위해서는 우선 테이블을 생성해야 한다는 번거로움이 있다.  열어보고 싶지 않은 파일을 데이터베이스화 하려고 하는 건데,데이터베이스 내부에서 테이블을 생성하기 위해 파일을 열어봐야하는 이 아이러니 함. 귀찮을 때에는 파이썬한테 시키는 게 제일 좋다. 1. Connect 생성지금껏 파이썬+PostGRES 호환을 위해 psycopg2 모듈을 믿어왔건만,Pandas 는 sqlalchemy 에서 더욱 호환이 잘된다고 한다.그리고 1.4.16 버젼 이상에서 호환이 더 잘..

Task: POI 중에서 음식점들을 골라서 뽑아내고 싶은데, 별도의 용도 지정이 없다. 그래서 음식점 인허가 데이터랑 비교해서 음식점인 포인트들은 제거하고자 한다. 서로 다른 소스에서 취득한 공간 데이터의 경우, 좌표도 미세하게 다르고, 이름도 미세하게 다르다. 위와 같은 상황에서 겹치는 포인트를 하나하나 체크하면서 제거하는 것은 매우 번거로운 일. SQL 의 buffer join 과 text similarity 는 위와 같은 문제를 쉽게 해결할 수 있게 도와준다. SHP to Database 1. 데이터베이스 탭 -> DB 관리자 (Ctrl + Shift + D 단축키 로도 이동 가능) 2. 기존에 연동시켜둔 PostGIS 로 연결하여 원하는 Schema 선택 3. 레이어/파일 불러오기로 이동 4. 입..