목록웹크롤링 (3)

이언배 연구노트

[PostGRES] DTP 데이터셋과 빌딩 데이터의 결합

지난번까지 데이터셋 구축에 완료했다.이제 빌딩 데이터셋으로 geometry 를 붙여줘야 용적률, 위치 등의 정보를 활용할 수 있으니빌딩데이터부터 차근차근 접근해보자. 우리가 쓸 건물 데이터는 JUSO_INFO. 출처는 juso.go.kr 이다.2021년 12월 기준이었지 아마.PK 는 bul_num_no 와 SIG_CD 라고 하는데, bd_mgt_sn 도 일단 모두 distinct하긴 해서 고민이 필요해보인다. 그리고 가장 열받는 포인트는 도로명이 아닌 "도로명 코드"로 되어있다는 점...이것을 위해 DTP 에 도로명 코드를 추가해주어야 한다. 전략은1. 도로명 코드 + 건물 본번 + 건물 부번 으로 geometry 를 매칭시키고2. 혹시 매칭에 실패했거나, 여러개의 건물에 붙은 경우에는 point좌표로..
PostGRES 2024. 12. 4. 19:05
[PostGRES + Python] 데이터베이스에서 리스트 불러와 웹크롤링

이번에 해야할 태스크는 크게 1. PostGRES 에서 Third Place 정보를 불러온다2. Python 으로 Third Place 를 검색한 NAVER API 결과물을 JSON 형태로 얻는다3. 기존 검색 결과와 일치 여부를 확인한다4. 데이터베이스에 저장한다 로 이루어져있다. 여기서 고민해야할 부분은 3번과 4번.JSON 에서 정보를 추출하는 건 python 이 편할 것 같지만,추출한 정보와 기존 정보의 비교 및 저장을Python - csv 로 할지, Python - Postgres - Database 의 형태로 할지가 고민이다.내가 편하고 다루기 좋은 건 csv지만, 용량이 너무 아깝고, 시간도 느리다.Database 는 부가적인 작업이 필요 없지만 업데이트가 까다로운 경우가 있다. 그래, 기왕..
PostGRES 2024. 10. 15. 22:14
[Python] NAVER API로 음식점 상세 정보 검색하기

진짜 되도록이면 하나하나 map.naver.com/ 으로 쿼리하는 짓은 하고싶지 않다...그래도 NAVER API 는 공식적으로 제공해주는 데이터니까 조금 낫지 않을까?최소한, 정제되어있는 형태의 무언갈 주지 않을까...? 하는 기대에 NAVER API 를 무턱대고 시작해보았다. 1. NAVER Developers 에 가입하기네이버 개발자 센터 - NAVER Developers NAVER Developers네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음developers.naver.com로 접근해서 API 신청에 필요한 정보를 얻으려고 했다.며칠 걸..
Python 2024. 10. 15. 21:13
이전 Prev 1 Next 다음