옵저버빌리티 Right-Sizing: 여기어때에서 기준을 만드는 법
데브옵스
옵저버빌리티 Right-Sizing: 여기어때에서 기준을 만드는 법
두줄요약
Kubernetes Pod의 Request와 Limit을 실제 사용 패턴에 맞게 조정하는 Right-Sizing 기준 수립 과정을 다뤘습니다. P95, 버퍼율, 컴포넌트 특성, Throttling 지표를 함께 고려하는 방법을 정리했습니다.
핵심 내용
- Kubernetes Pod의 requests/limits를 실제 사용 패턴에 맞게 조정하는 Right-Sizing 기준 수립 경험
- Observability self-hosted 환경에서 수집된 메트릭을 활용해 노드 과점유, OOMKill, CPU Throttling 위험을 함께 점검
- 평균·최대값·P95, 측정 기간·샘플링 간격, 컴포넌트 특성별 버퍼를 구분해 판단 기준 정리
- Memory와 CPU를 다르게 해석하고, Throttling 지표를 함께 봐야 하는 쿼리와 롤백 기준까지 설계
적용해볼 점
- P95 기반으로 Request를 역산하되 컴포넌트별 목표 사용률을 달리 적용
- 측정 기간은 1주, 샘플링은 5분처럼 운영 패턴과 쿼리 비용의 균형점 탐색
- Stateless, Stateful 읽기, Stateful 쓰기처럼 장애 영향도에 따라 단계적 적용과 롤백 조건 사전 정의
