데브옵스
서버 터질까 봐 만든 도구, 돈 내고 쓰는 기능이 되기까지
두줄요약
공유 서버 풀의 이벤트 트래픽을 전용 풀로 격리하고 증설·원복·회고를 자동화했습니다. 운영 데이터를 축적해 용량 산정을 고도화하고 고객 예약형 유료 기능으로 확장했습니다.
문제 상황
- 공유 웹 서버 풀에서 특정 고객사의 이벤트 트래픽이 다른 고객사 성능까지 저하시키는 구조
- 수동 증설·감설과 원복 누락, 경험적 서버 대수 결정에 따른 운영 불안정
구조와 흐름
- Jira 일정 수집 후 DynamoDB 이벤트 목록을 기준으로 Lambda 라우팅 작업과 Kubernetes CronJob 용량 작업 분리
- 이벤트 전후 CloudFront 원본을 전용 웹 서버 풀로 전환하고, 종료 후 기존 풀로 복귀
- 이벤트 종료 뒤 12개 지표 기반 회고를 Notion·Slack·Databricks에 축적하고 다음 산정에 활용
성능/운영 포인트
- 워커 점유율, 가장 바쁜 서버의 포화도, 초당 요청 수별 필요 대수 중 최대값 적용
- 서버 그룹 여력, 서브넷 IP, DB 연결 수 사전 점검 후 Slack 카드와 봇 승인으로 증설 자동화
- 예약판매 순간 초당 요청 80배 증가와 123만 건 요청에서 5xx 오류 0건 기록
적용해볼 점
- 예측 가능한 이벤트 트래픽을 일반 트래픽과 격리하고 사전 용량 확보에 활용
- AI는 위험 신호 탐지와 설명에 사용하고, 재현 가능한 최종 산정은 코드와 축적된 운영 데이터로 결정
- 내부 자동화의 입력 목록과 후속 처리 흐름을 재사용해 고객 예약 기능으로 상품화
