궁금한 점이 서비스중인 db를 ETL 이라는 통계에 최적화된 형태로 가져오려면 말씀하신대로 조인을 여러번 해서 요청을 한다고 이해했는데 이렇게 되면 부하도 많이 걸리고 쿼리 작성도 복잡해지는데 또 디른 방식은 어떤것이 있나요? 단순히 생각하기로는 db로그파일을 s3나 다른 곳에 넣고 배치로 돌려서 ETL 형식으로 만들어주는 건가요???
- etl 서비스 사용. AWS glue 같은 것 들이 있습니다. - 배치 프로그램을 돌려서 일정 주기마다 실행시켜서 데이터를 추출하고 변환해서 데이터 웨어하우스에 쌓습니다. - 실시간 처리 방식 - 운영서비스에서 데이터가 생성 될때 실시간으로 데이터웨어하우스에 쌓기 등등 어느정도 데이터 량이고 어느정도 부하가 걸리는지 그리고 인프라를 구축하는데 어느 정도 비용을 사용할 것 인지에 따라 선택 결과가 달라 질텐데요~ 저는 배치 프로그램을 자체 개발해서 일정 주기마다 데이터를 추출하고 변환해서 쌓는 방식으로 해봤구요~ 다른 방식으로는 해보지는 않았습니다~
![[개발일기] 온라인 결제 프로세스에 대한 이야기 (동시성 제어, dead lock, wait timeout, isolation level, db replication)](http://i.ytimg.com/vi/P-hOHldWjKI/mqdefault.jpg)
멋있다 !!!
얼마전 정처기 시험에서 봤던 데이터 웨어하우스와 데이터 마트가 이런거였군요. 영상 보고나서 검색 좀 해보니 이제 이해가 갑니다.
다만 이게 무엇이고 왜 쓰는지는 이해가 가는데, 어떻게? 는 잘 모르겠네요. 다음 영상에서 알려주시나여? ㅎㅎ
그 다음은 흔히들 대시보드 형태로 웹사이트를 만들어서 데이터 시각화 처리를 하겠죠~ ㅎ
궁금한 점이 서비스중인 db를 ETL 이라는 통계에 최적화된 형태로 가져오려면 말씀하신대로 조인을 여러번 해서 요청을 한다고 이해했는데 이렇게 되면 부하도 많이 걸리고 쿼리 작성도 복잡해지는데 또 디른 방식은 어떤것이 있나요? 단순히 생각하기로는 db로그파일을 s3나 다른 곳에 넣고 배치로 돌려서 ETL 형식으로 만들어주는 건가요???
- etl 서비스 사용. AWS glue 같은 것 들이 있습니다.
- 배치 프로그램을 돌려서 일정 주기마다 실행시켜서 데이터를 추출하고 변환해서 데이터 웨어하우스에 쌓습니다.
- 실시간 처리 방식 - 운영서비스에서 데이터가 생성 될때 실시간으로 데이터웨어하우스에 쌓기
등등
어느정도 데이터 량이고 어느정도 부하가 걸리는지 그리고 인프라를 구축하는데 어느 정도 비용을 사용할 것 인지에 따라 선택 결과가 달라 질텐데요~
저는 배치 프로그램을 자체 개발해서 일정 주기마다 데이터를 추출하고 변환해서 쌓는 방식으로 해봤구요~ 다른 방식으로는 해보지는 않았습니다~