[NHN FORWARD 22] 엘라스틱서치를 이용한 상품 검색 엔진 개발 일지

Elasticsearch는 강력한 검색 기능을 통해 사람들이 차별화된 방식으로 데이터를 탐색하고 분석할 수 있도록 도와주는 검색에 특화된 엔진입니다.
처음 도입되는 Kubernetes 환경의 검색 엔진 서비스로서 성능을 테스트하고 더 나은 아키텍처가 있는지 많은 시행착오를 겪어야 했습니다.
그래서 Elasticsearch를 도입한 과정을 총정리함으로써 소개드릴 예정입니다.
이번 세션에서는 Elasticsearch, Spring Boot, Kotlin을 이용한 검색 엔진 구축 과정들을 알아보고자 합니다.
발표 자료 자세히 보기 👉 forward.nhn.co...
#검색 #백엔드 #성능 #생산성 #아키텍처
#NHNFORWARD #NHNFORWARD22 #엔에이치엔포워드 #기술콘퍼런스 #개발자콘퍼런스

[@karamchandsingh2331]

감사합니다.

[@jw_sw8157]

도움 많이 됐습니다 감사합니다~💯

[@핑구리]

es말고 다른 차기 대안책은 어떤것이 있을지 궁금합니다. es가 자바기반이라 아무것도 안해도 jdk가 1기가를 잡아먹는데

[@jw_sw8157]

감사합니다!!

[@송지호-m2z]

업데이트가 필요한 친구들에 대해 10초에 한 번 씩 계속 부분색인 하는데 매일 새벽 2시에 전체 색인을 한 번 싹 돌리는 이유는 무엇인가요?

[@NHNCloud]

안녕하세요. NHN CLOUD입니다.
매일 새벽 전체 색인을 진행하면 매번 새로운 인덱스를 생성하기 때문에 이전에 사용하던 인덱스는 백업용으로 남길 수 있습니다. 예상치 못한 장애로 인해 백업용 인덱스를 바라봐야 하는 상황이 생길 수도 있기 때문에 발생하는 이슈에 빠르게 대응할 수 있다는 장점이 있을 수 있습니다. 또한 저희가 사용하는 검색엔진은 검색 품질 향상을 위해 엘라스틱서치에서 제공하는 노리(Nori) 플러그인을 사용하고 있습니다.
해당 플러그인을 사용하게 되면 추가적인 동의어 분석이 필요한 경우, 동의어를 직접 추가하는 작업이 필요합니다.
해당 동의어를 직접 추가할 경우 매번 인덱스를 갱신해야 하는데 전체 색인 작업을 진행하게 되면 새로 추가된 동의어도 인식이 가능합니다.
NHN CLOUD 드림

[@runhaniyo]

​@@NHNCloud 아 ~혹시 장애로 만약 백업용 인덱스를 바라봐야 한다면, 일부의 업데이트 데이터 누락을 감수하고 복구를 해야 건가요!?
만약 밤 12시에 장애가 발생해서 백업용 인덱스를 바라봐야한다면, 그 하루동안에 업데이트된 데이터는 복구가 가능한가요!?

[@이재현-u7o]

장애시점 이후부터 mongodb 에 쌓인 메세지를 보고 후처리해주면 되지않을까 조심스럽게 예상해봅니당