빅데이터 플랫폼 구축 프로젝트
▶ 진행 이유 :
전세계를 강타한 코로나 바이러스는 동네 기반 서비스 플랫폼의 역할과 의미를 더욱 견고하게 하는 원인으로 작용하여 위치 기반 서비스는 온,오프라인을 잇는 동네 네트워크를 구축하게 되었다고 한다. 프로젝트 기간 동안 구현해야 하는 양을 고려하여 중고거래를 제외한 커뮤니티 기능 중 사용자가 서비스를 이용할 때 주변에 어떤 것들이 있는지 보여주고 실시간 주변 정보 전달하는 것을 목표로 한 플랫폼을 구축하게 되었다.
[ 세부내용 기술 ]
▶ 시스템 구성도
- 파이썬 : 데이터 정제, 전처리
- 쿠버네티스 클러스터
- 카프카 : 프로듀서로서 카프카의 토픽에 데이터 전달
- 로그스태시 : 카프카의 브로커에 보관된 데이터를 수집
- 엘라스틱서치 : 분산과정을 통해 로그스태시의 데이터 저장
- 키바나 : 저장된 데이터 분석, 시각화, 웹서버에 전달
▶ 사용 데이터, 구현된 기능
[ 사용 데이터 ]
- 공공자전거 실시간 대여정보
- 소상공인시장진흥공단상가정보서울
- 서울_학교정보
[ 구현 기능 ]
- 실시간 따릉이 위치 정보 시각화
- 대,중,소 분류에 따른 상가정보 시각화
- 서울 초,중,고 학교 정보, 위치 시각화