Elasticsearch 3TB의 인덱스를 reindex 하는 방법

핵심 내용

• Elasticsearch 3TB급 대용량 인덱스의 주기적 reindex 과정에서 속도와 안정성을 높이기 위한 설정 조정 사례
• replica 생성 시점 분리, refresh_interval 비활성화, 배치 size 조정, 프라이머리 샤드 수 조절로 색인 효율 개선
• 운영 중 발생한 es_rejected_execution_exception과 circuit_breaker_exception 대응 및 throttling, recovery 속도 제한 적용

적용해볼 점

• reindex 전후 replica 생성 시점을 분리해 초기 IO와 메모리 부담 완화
• 시스템 부하를 보며 배치 size와 샤드 수, throttling 값을 점진적으로 조정
• reindex 이후 replica 복구 속도 제한으로 circuit breaker 가능성 완화