데브옵스
데이터 분석가가 직접 정의, 배포, 관리하는 뱅크샐러드 데이터 파이프라인
두줄요약
datapipe로 분석가가 데이터 파이프라인을 직접 정의·배포·운영하는 구조를 구축했습니다. 테스트와 데이터 품질 검증을 통합해 안정적인 자율 운영을 지원했습니다.
문제 상황
- 데이터 엔지니어만 Spark 작업·Airflow DAG·인프라 설정을 구현하던 파이프라인 개발 병목
- 데이터 분석 요구 증가에 따른 협의·설계·배포 비용과 운영 의존성
해결 방법
- 테이블 메타데이터, 적재 로직, 의존성 선언으로 구성한 datapipe 추상화
- ChatOps 기반 직접 배포, Fusion Auth 역할 기반 DAG 조작 권한, 실패 알림 연동
- PR별 독립 Airflow 테스트 서버와 pytest 유닛 테스트 워크플로우
구조와 흐름
- S3·Glue 데이터 레이크에 수집 데이터를 적재하고 Athena·Spark로 분석
- Airflow PySparkOperator에서 작업 경로·리소스·파라미터를 받아 Spark 작업 제출
- 프로덕션 입력과 테스트 namespace 출력을 분리한 통합 테스트 환경
성능/운영 포인트
- Spark 자원 요청 및 Airflow pool·pool_slots 기반 동시 실행 제한
- fail_conditions와 dq_metrics로 데이터 정합성 검증 및 Slack 리포트
- 비정상 데이터 적재 차단으로 하위 파이프라인과 데이터 제품 영향 예방
