데브옵스
올리브영 데이터 엔지니어링
두줄요약
올리브영은 IDC 기반 ETL·DW 구조를 GCP 기반 데이터 플랫폼으로 확장했습니다.\nAirflow·Spark·BigQuery로 데이터 수집·처리·분석과 로그 수집을 지원합니다.
구조와 흐름
- 기존 IDC 기반 ETL 구조에서 원본 DB를 DW에 적재하고 BI·쿼리 분석에 활용
- 신규 원천 데이터 수용과 다양한 제공 경로 요구로 IDC+클라우드 데이터 플랫폼 확장
- Airflow·Spark 기반 데이터 수집·처리, BigQuery 기반 분석 환경, 로그 수집 기능 제공
선택 이유
- 서비스 확장과 구성 용이성을 위한 클라우드 기반 플랫폼 선정
- AWS·Azure·GCP 비교 후 GCP 기반 데이터 플랫폼 구성
- 데이터 파이프라인 개발 중심 업무에서 데이터 프로세스·플랫폼·서비스 영역으로 확장
성능/운영 포인트
- 다양한 데이터 원천 수용과 효율적인 데이터 작업 지원
- ETL 수집 외 로그 수집과 분석 환경 제공
- MSA 아키텍처 기반 데이터 서비스 플랫폼으로 추가 확장 진행
