백엔드
Apache Airflow Task SDK에 대해 알아보기
두줄요약
Airflow Task SDK는 Dag와 내부 시스템을 분리해 업그레이드 호환성과 안정성을 높이는 방향을 소개했습니다. 또한 Supervisor와 Task Runner 구조로 보안과 확장성까지 강화하는 변화를 설명했습니다.
문제 상황
- 기존 Airflow Dag 작성에서 Operator 직접 import와 개별 정의로 인한 번거로움
- 비즈니스 로직과 의존성 설정의 결합으로 떨어지는 가독성
- Airflow 내부 구현과 강한 결합으로 메이저 업그레이드 때마다 코드 호환성 문제 발생
원인 분석
- Dag 코드가 Airflow 내부 변경에 직접 영향을 받는 구조
- Worker가 메타데이터 DB와 직접 상호작용하는 기존 아키텍처
해결 방법
- Dag 작성과 내부 구현을 분리하는 Task SDK 도입
- Supervisor와 Task Runner 구조로 실행 격리와 통신 책임 분리
- Execution API와 Supervisor를 통한 안전한 DB 처리와 XCom, heartbeat 관리
적용해볼 점
- TaskFlow와 유사한 문법으로 점진적 도입 고려
- Airflow 2.x에서 3.x 전환 시 DB 접근 구조 변경과 보안 영향 확인
- Python 외 언어 지원 가능성을 염두에 둔 워크플로우 설계 검토