[구축사례] 흩어진 운영 데이터를 하나로, kt cloud 운영 데이터 통합 플랫폼 Deck 구축기

문제 상황

• 로그, 지표, 이벤트, 사용량 데이터가 시스템별로 흩어져 있어 확인과 원인 파악에 시간이 많이 소요되는 상황
• 팀마다 같은 데이터를 반복 수집, 가공해 비효율이 누적되는 운영 환경

원인 분석

• 데이터가 여러 위치와 형식으로 분산되어 있어 공통 기준으로 연결되지 않는 구조
• 의사결정에 쓸 수 있는 형태로 데이터가 정리되지 않아 과금, 분석, 검증의 신뢰성이 떨어지는 문제

해결 방법

• 레이크하우스 기반 통합 데이터 플랫폼 Deck 구축
• Object Storage를 SSOT로 두고 Kafka, Vector, Trino, Airflow, Spark, StarRocks, Superset을 레이어별로 분리해 활용
• 원본 복제 없이 수집, 저장, 처리, 서빙을 하나의 흐름으로 연결해 표준화된 운영 데이터 체계 구성

성능/운영 포인트

• 벤더 종속을 줄이는 순수 오픈소스 구성
• 목적별 엔진 분리로 병목을 줄이고 레이어별 독립 확장 확보
• 과금 근거 추적, 검증과 Cost Explorer 비용 분석 지원

적용해볼 점

• 운영 데이터의 단일 기준 저장소와 표준 수집, 처리 흐름 설계
• 서비스 증가와 데이터 규모 확장을 고려한 레이어 분리 구조 검토
• 과금, 분석, 의사결정까지 연결되는 데이터 기준 정립