데브옵스
Apache Airflow 3.x 무엇이 달라졌고, 어디로 가고 있는가?
두줄요약
Airflow 3.x는 실행과 오케스트레이션을 분리하고, 시간 중심 스케줄링을 Asset·이벤트 중심으로 확장했습니다.\nDAG 버저닝과 `airflow.sdk`로 안정성과 추적성을 높이며 범용 워크플로우 플랫폼으로 이동했습니다.
핵심 내용
- Airflow 3.x를 단순한 배치 스케줄러가 아닌 워크플로우 오케스트레이션 플랫폼으로 재정의
- 실행과 오케스트레이션 분리,
airflow.sdk도입으로 보안성과 작성 인터페이스 안정성 강화 - 시간 중심에서 Asset·이벤트 중심으로 확장하고 DAG 버저닝과 백필 정식 기능으로 관측성과 추적성 개선
- ML/AI 워크플로우, HITL, 언어별 Task SDK까지 포괄하며 범용 오케스트레이터로 이동
적용해볼 점
- Airflow 작업을 시간 기반 배치가 아니라 상태 변화와 이벤트 흐름 중심으로 재설계
- Dag 작성은
airflow.sdk기반으로 전환해 장기 호환성과 업그레이드 안정성 확보 - 운영 중인 워크플로우는 버전별 실행 이력과 재현 가능성 관점에서 점검