백엔드
화해의 Data Warehouse를 소개합니다
두줄요약
화해는 분산된 원천 데이터를 Redshift Data Lake와 BigQuery DW로 이관·구축했습니다. 반정규화 FACT 테이블과 데이터 카탈로그로 분석 효율과 지표 일관성을 높였습니다.
문제 상황
- 제품 DB와 쇼핑 DB를 로컬에서 결합하는 반복적 데이터 추출 과정
- 운영 DB 부하, 로컬 리소스 한계, 복잡한 통계·리텐션 분석의 어려움
- 사용자별 상이한 비즈니스 로직으로 인한 지표 기준 불일치
구조와 흐름
- 원천 DB·로그를 Redshift 기반 Data Lake에 적재한 초기 구조
- Data Lake 데이터를 가공해 BigQuery 기반 DW 테이블 생성
- 데이터 카탈로그를 통한 테이블·컬럼 정의, 생성 로직, 모수 정보 관리
해결 방법
- 대시보드·분석 쿼리에서 공통 사용되는 Dimension과 Metric 정의
- 조인 최소화를 위한 반정규화 FACT 테이블 설계와 기준일자 컬럼 추가
- 자주 쓰이지만 조회가 복잡한 지표의 FACT 테이블화 Backlog 운영
성능/운영 포인트
- 4개 주제 영역과 약 20개 FACT 테이블의 대시보드·분석 활용
- 복잡한 조인과 데이터 탐색 시간 감소, 특정 시점 지표의 일관된 측정
- DW 미포함·저빈도 지표의 Data Lake 조회와 전사 BigQuery·데이터 리터러시 교육 계획
