.png)
데브옵스
오토피디아 데이터 웨어하우스 구축하기
두줄요약
초기 스타트업의 데이터 분석 한계를 해결하기 위해 BigQuery 중심 데이터 웨어하우스를 구축했습니다. dbt·Airflow·Data Studio를 결합해 데이터 변환과 전사 대시보드 운영 방식을 정립했습니다.
문제 상황
- 프로덕션 MySQL 덤프와 파이썬 분석에 의존하며 증가하는 데이터 분석 요청 대응의 어려움
- 광고·유저 행동·서비스 DB·외부 파트너 데이터를 통합하고 구성원 접근성을 높일 필요
구조와 흐름
- 프로덕트별 GCP 프로젝트에 원시 데이터를 BigQuery로 적재하고 분석 프로젝트의 데이터 마트로 분리
- Fivetran·Airflow·Streaming Insert API 기반 EL과 dbt 기반 1시간 단위 변환
- stg·mid·tbl 모델로 정제·중간 조인·주요 엔티티 데이터 마트 구분 후 Data Studio 시각화
선택 이유
- GA4 내보내기, 서버리스 운영, 자동 확장 쿼리 성능을 근거로 BigQuery 선택
- 비용·한국어 지원·Google Workspace 인증·BigQuery 연동을 기준으로 Data Studio 선택
- 파이프라인 유지보수 최소화를 위해 데이터 소스 연동에 SaaS 우선 활용
성능/운영 포인트
- 파티션·클러스터링으로 BigQuery 쿼리 비용 절감, 동일 리전 배치로 리전 간 전송 비용 방지
- dbt와 Airflow의 local→dev→prod 반영 흐름으로 변환 단계 DaC 구성
- PII 열 단위 접근 제어, 서비스 계정 권한 세분화, 모델·열 단위 데이터 리니지 고도화 과제
