백엔드
실시간 OLAP을 위한 Apache Pinot 운영 노하우
두줄요약
Apache Pinot를 실시간 OLAP 용도로 도입해 운영하며 얻은 안정성·보안·DR 노하우를 정리했습니다. Upsert, Kafka 재개, Trino gRPC 등 실무에서 겪은 주의점과 대응 방법도 함께 소개했습니다.
핵심 내용
- Apache Pinot를 실시간 OLAP 용도로 도입하고 운영하며 얻은 실전 노하우 정리
- 클러스터 안정성 확보를 위한 딥스토어 연동, 장애 예방 설정, 보안 강화, DR 아키텍처 구축
- 실시간 Upsert 운영에서의 PK 메모리 관리, 세그먼트 compaction, 모니터링 방법 공유
- 언더 리플리카, 리플리카 전체 다운, 스냅샷 테이블, Kafka 재개, Trino gRPC 사용 시 주의점 정리
적용해볼 점
- 서버 장애 대비를 위해 딥스토어와 peer download, failure detector 같은 설정 점검
- Upsert 테이블은 PK 개수·길이·TTL과 세그먼트 상태를 함께 관리
- 쿼리 누락 가능성을 고려해 partialResult, 에러 코드, 타임아웃 메트릭을 확인