[PostGRES] 웹크롤링 실패 인허가 데이터의 탐색

나의 웹 크롤링 데이터는 어떻게 될 것인가...

일단 이전에 크롤링해두었던 나에게 칭찬하며,

 

18,486개의 크롤링 데이터를 얻을 수 있었다. (파이썬에서 PostGRES로 옮겼다.)

그 중에서 similarity 가 0.15이상인 녀석들은 아래와 같다

 

SELECT title, naver_check, similarity(title, naver_check) FROM overflow_result
WHERE similarity(title, naver_check) > 0.2 ORDER BY similarity ;

 

사실 네이버에서 매우 러프하게 검색한 결과물이어서 text similarity 를 더욱 보수적으로 잡아야하나 했지만,

어차피 걸러낼 수 있는 가능성이 별로 없어보인다.

 

사실 이번 단계에서는 "네이버에서 검색된 결과가 unmatched 인허가 데이터랑 일치하느냐?" 라는 질문에서부터

온전히 Yes라고 대답하기 어렵다.

검색의 결과물이 갑자기 엉뚱한 위치로 튀어서 나오거나, 이름이 비슷하지 않은데도 갑툭튀하는 경우들이 있기 때문.

하지만 완전한 데이터는 없다는 마음을 가지고, 최종적으로 남은 데이터들을 찾아보자.

 

SELECT U.pmid, U.title, U.addr, ov.naver_check FROM unmatched U
LEFT JOIN
	(SELECT title, addr, naver_check, similarity(title, naver_check)
	 FROM overflow_result
	 WHERE similarity(title, naver_check) > 0.2
	) ov
ON U.title = ov.title AND U.addr = ov.addr --이름과 주소만으로 매칭이 가능할 것이다
WHERE ov.naver_check is null;

 

96731개의 unmatched data...

이제 내가 해야할 일은...

이 96731개의 인허가 데이터들이 "진짜로 검색불가능한지" 를 찾는 것이다....

일단 위의 데이터를 MATERIALIZED VIEW 로 저장해두고 깔끔하게 그때그때 불러서 쓰도록 하자

 

CREATE MATERIALIZED VIEW crawl_permit_place AS --이름이 불만족스럽지만 일단 가자
(SELECT U.* FROM unmatched U
LEFT JOIN
	(SELECT title, addr, naver_check, similarity(title, naver_check)
	 FROM overflow_result
	 WHERE similarity(title, naver_check) > 0.2
	) ov
ON U.title = ov.title AND U.addr = ov.addr
WHERE ov.naver_check is null);