백엔드
Apache Airflow DAG Versioning 기능 알아보기
두줄요약
Airflow 3.0의 DAG Versioning 기능과 DAG Bundle 구조를 소개했습니다. GitDagBundle을 통해 과거 버전의 DAG를 안정적으로 실행하는 방법을 설명했습니다.
핵심 내용
- Airflow 3.0에서 DAG Versioning 기능 도입
- DAG 변경 이력 추적과 실행 시점 코드 버전 확인
- DAG Bundle 개념 추가로 버전 고정 실행 기반 마련
구조와 흐름
- LocalDagBundle과 GitDagBundle 구분
- LocalDagBundle은 UI상 버전 표시만 가능
- GitDagBundle은 Git 커밋 기준으로 코드 버전 유지
적용해볼 점
- 과거 DAG 재실행 시 최신 코드 사용 문제 점검
- 운영 환경에서는 GitDagBundle 기반 버전 관리 고려
- DAG 수정 이력과 실행 버전의 일치 여부 확인