데브옵스
뱅크샐러드 Data Discovery Platform의 시작
두줄요약
데이터 탐색과 메타데이터 관리의 어려움을 해결하기 위해 Data Discovery Platform을 구축했습니다. DataHub와 Airflow로 명세·통계·샘플·Lineage를 제공했습니다.
문제 상황
- 분석 환경의 방대한 테이블·컬럼과 도메인 맥락으로 인한 데이터 탐색 장벽
- 데이터 변경에 따른 명세 동기화 부담과 데이터 파운데이션 Slack 문의 의존
- SQL·BI 도구 초보자의 데이터 위치와 의미 파악 어려움
해결 방법
- 전사 데이터 검색·메타데이터 확인을 위한 Data Discovery Platform 구축·배포
- 테이블 명세, 오너, 관련 문서·대시보드·Feature 활용 정보의 중앙 관리
- 통계·샘플 데이터와 Lineage 제공을 통한 분석 전 데이터 이해 지원
선택 이유
- 오픈소스 플랫폼 PoC와 구성원 투표를 거쳐 DataHub 채택
- 비개발 직군도 활용하기 쉬운 DataHub UI의 사용자 친화성
구조와 흐름
- Kubernetes 환경에 Helm 기반 DataHub 배포
- YAML Recipe로 MySQL·AWS Glue 메타데이터 수집 경로와 DataHub REST sink 선언
- Airflow DAG 기반 메타데이터 ingestion 및 테이블·파이프라인 Lineage 확인
