백엔드

Spark로: 데이터 파이프라인 전환기

SK플래닛2026년 9월 17일

두줄요약

Oozie/Sqoop 기반 데이터 파이프라인을 Airflow/Spark로 전환한 사례를 정리했습니다.\nYAML 템플릿, 동적 파티셔닝, Parquet 최적화로 운영성과 조회 성능을 함께 개선했습니다.

Oozie XML과 Sqoop 기반의 레거시 1,200여 개 데이터 파이프라인을 Airflow와 Spark로 전환한 사례
YAML 기반 DAG 템플릿과 Factory 패턴으로 공통 설정과 개별 설정을 분리해 운영 효율과 관리 편의성 개선
테이블 용량에 따라 단일/병렬 추출을 나누고, 최적 파티션 키 자동 선택과 Predicates API로 JDBC 타입 이슈와 DB 부하를 제어
Parquet+Snappy, repartitionByRange, sortWithinPartitions를 적용해 파일 크기 최적화와 조회 성능 향상