검색 데이터 서빙 플랫폼 구축

핵심 내용

• 검색 대상 문서를 색인해 서빙하는 플랫폼 구축 과정 소개
• Kafka 기반 데이터 파이프라인으로 원본 문서를 가공·전송하고, Consumer에서 Solr에 색인
• Search API Server에서 기본 검색, 시간 범위 검색, 필터 검색 제공
• Solr Cloud, ZooKeeper Ensemble, NRT 복제, EmbeddedSolrServer 테스트와 성능 검증 포함

구조와 흐름

• Producer Server: XML·JSON 원본 파싱, 색인용 데이터 가공, Kafka producing
• Consumer Server: Kafka consuming, SolrInputDocument 변환, Solr collection 색인
• Search API Server: 쿼리 유효성 검토 후 Solr 질의, 결과 응답

선택 이유

• Solr Cloud와 ZooKeeper로 분산 처리와 고가용성 확보
• NRT 복제로 최신 데이터 검색과 장애 복구 가능성 중시
• 부분 식별/전체 식별 구분으로 기본 검색과 필터·시간 범위 검색에 대응

성능/운영 포인트

• 색인 실패와 조회 실패에 대한 재시도 및 로깅 처리
• 4대 서버 기준 Solr와 Search API 성능 테스트 수행
• 장기 구동과 가상 유저 테스트로 서비스 가능성 검증