데브옵스
게임듀오가 Amazon EC2 기반 ClickStack으로 게임 서버 관측성 비용을 절반 이하로 줄인 방법
두줄요약
게임듀오는 EC2 기반 ClickStack과 S3·SQS 버퍼로 관측 비용을 절반 이하로 줄였습니다. 로그 보존과 분산 트레이싱 범위를 확대하면서 유실 감시와 운영 자동화도 구축했습니다.
문제 상황
- 250대 이상 게임 서버에서 일일 로그 1~2억 건과 스팬 4~6억 건 수집
- SaaS 호스트·로그 과금에 따른 비용 증가, 15일 보존 제한, 분산 트레이싱 미도입
- Loki의 쿼리 시 JSON 본문 파싱으로 인한 대량 로그 검색 타임아웃과 LogQL 진입 장벽
구조와 흐름
- OpenTelemetry Collector 에이전트·게이트웨이·Consumer 기반 수집 계층 구성
- ALB와 Fargate 게이트웨이를 거쳐 S3에 원문 우선 적재, SQS 이벤트 기반 비동기 ClickHouse INSERT
- EC2의 ClickHouse 1 Shard 2 Replica와 EBS 핫 티어·S3 콜드 티어·TTL 보존 정책 구성
성능/운영 포인트
- S3·SQS 버퍼와 DLQ로 ClickHouse 중단·Fargate Spot 회수 시에도 재처리 가능한 수집 경로 확보
- 카나리, CloudWatch 데드맨, S3 완료 태그 정합성 점검으로 유실·적재 중단 감시
- Grafana SQL 알람을 16개에서 170여 개로 확대하고 Terraform과 GitHub Actions 기반 운영 자동화
적용해볼 점
- 대형 테이블 TTL·스키마 변경 시 기존 파트 재작성과 노드 부하 사전 검증
- 저장소 직접 INSERT 대신 내구성 버퍼 분리, 온보딩 전 바이트 기준 로그 물량 산정
- SDK·에이전트 압축 활성화와 로그 요청·응답 본문 보존 범위 최적화
