Elasticsearch 3TB의 인덱스를 reindex 하는 방법
백엔드
Elasticsearch 3TB의 인덱스를 reindex 하는 방법
두줄요약
Elasticsearch 대용량 인덱스 reindex에서 속도와 안정성을 높이는 설정 조정 사례를 다뤘습니다. replica 분리, refresh 비활성화, throttling과 복구 속도 제한으로 장애를 줄였습니다.
핵심 내용
- Elasticsearch 3TB급 대용량 인덱스의 주기적 reindex 과정에서 속도와 안정성을 높이기 위한 설정 조정 사례
- replica 생성 시점 분리, refresh_interval 비활성화, 배치 size 조정, 프라이머리 샤드 수 조절로 색인 효율 개선
- 운영 중 발생한 es_rejected_execution_exception과 circuit_breaker_exception 대응 및 throttling, recovery 속도 제한 적용
적용해볼 점
- reindex 전후 replica 생성 시점을 분리해 초기 IO와 메모리 부담 완화
- 시스템 부하를 보며 배치 size와 샤드 수, throttling 값을 점진적으로 조정
- reindex 이후 replica 복구 속도 제한으로 circuit breaker 가능성 완화
