해외 시장 업체 목록을 대량으로 확보하는 사업자
지역과 업종만 넣으면 업체 목록이 엑셀로
지역과 업종 키워드만 정하면 지도에 올라온 업체를 빠짐없이 모아 중복 없는 엑셀 파일로 정리해 줍니다.
개발 파트너가 실제로 구축한 프로젝트입니다. 고객사 보호를 위해 회사 이름은 밝히지 않고 업종으로 표기합니다.
- 동시에 수집하는 브라우저 수
- 최대 10개
- 자료의 워커 풀 설명(병렬 브라우저 최대 10)
Before도입 전
- 사람주소 잘게 나누기
- 사람업종 키워드 조합수백 개 조합
- 사람하나씩 조회!20개 안팎에서 잘림
- 사람결과 합치고 중복 삭제!누락 계속 남음
- 지도 서비스의 공식 연결은 한 번 조회에 스무 개 안팎만 돌려줘서, 담당자가 주소와 업종 키워드를 수백 개 조합해 하나씩 돌렸습니다.
- 그렇게 해도 빠지는 업체가 남았고, 결과를 합치고 중복을 지우는 일이 따로 생겼습니다.
- 몇 시간 걸리는 작업이 중간에 멈추면 처음부터 다시 해야 했습니다.
After도입 후
- 사람지역·업종 입력시도 또는 좌표
- 시스템지역을 칸으로 나눔붐비면 4칸 재분할
- 시스템브라우저 동시 수집최대 10개
- 시스템같은 형식으로 정리고유번호로 중복 제거
- 시스템CSV로 바로 저장중단 시 이어받기
- 사람결과 파일 확인
- 지역과 업종 키워드만 넣으면 그 구역 업체가 중복 없이 한 개의 엑셀 파일(CSV)로 나옵니다.
- 업체가 몰린 곳은 더 잘게 나눠 다시 조회하므로 빠지는 업체가 줄었습니다.
- 중간에 멈춰도 멈춘 지점부터 이어서 수집하고, 진행 상황이 화면에 실시간으로 보입니다.
How it works이렇게 작동합니다
수집할 지역을 작은 칸으로 나눈 뒤 칸마다 지도를 조회합니다. 어떤 칸에서 결과가 기준치를 넘으면 아직 다 못 담은 것으로 보고 그 칸만 네 개로 다시 쪼갭니다. 도심처럼 업체가 많은 곳은 잘게, 외곽은 크게 나뉘므로 헛된 조회를 줄이면서 빠진 업체를 메웁니다. 지역은 한국 시도, 일본 도도부현, 미국 주 가운데 고르거나 위도·경도로 직접 정할 수 있습니다.
여러 브라우저가 칸을 나눠 맡아, 목록을 끝까지 내리면서 업체를 뽑습니다. 지도 목록은 내릴수록 지나간 항목이 화면에서 사라지기 때문에, 내릴 때마다 그때 보이는 목록을 읽어 쌓아 둡니다. 상호, 주소, 별점, 리뷰 수, 업종, 지도 링크를 읽고, 상세 모드를 켜면 전화번호와 홈페이지까지 채웁니다. 같은 업체가 이웃 칸에서 다시 잡혀도 고유번호로 한 번만 남깁니다.
조회 사이에는 매번 무작위로 쉬어 사람이 지도를 넘겨 보는 속도에 맞추고, 접속이 과하다는 신호가 보이면 바로 멈췄다가 다시 시작합니다. 진행한 칸과 이미 찾은 업체는 주기적으로 저장되어 프로그램을 닫아도 다음에 이어집니다. 전체가 윈도우 실행 파일 하나로 전달되어 개발자가 아닌 담당자도 설치 없이 씁니다.
한 화면에 담기는 개수가 정해져 있다면 화면을 좁히면 된다는 생각에서 출발했습니다. 제한을 억지로 뚫기보다 상대 서버를 존중하는 속도로 오래, 성실하게 훑는 쪽을 택했습니다.