데브옵스
Airflow를 Docker에서 Kubernetes로 옮기며 배운 것들
두줄요약
Docker 기반 Airflow의 운영 한계를 정리하고 Kubernetes/EKS로 이전한 과정을 공유했습니다. MultiExecutor, Git-Sync, Remote Logging, ArgoCD로 운영 자동화와 격리를 강화했습니다.
문제 상황
- 단일 EC2의 Docker 기반 Airflow 운영으로 인한 테스트 병목과 낮은 활용도
- 수동 git pull 배포, 수직 확장 한계, 의존성 충돌, 모니터링 부족
해결 방법
- Kubernetes와 EKS로 이전해 파드 단위 격리와 수평 확장 구조로 전환
- MultiExecutor, Dag Processor 분리, Git-Sync, Remote Logging, 모니터링 스택, ArgoCD를 조합해 운영 자동화와 가시성 강화
적용해볼 점
- PR 단위 Preview 환경과 Secret Backend로 개발·테스트 생명 주기와 민감 정보 보존을 분리
- ArgoCD와 Helm 값 기반으로 환경별 설정을 표준화해 배포 일관성 확보