데브옵스
서버리스에서 쿠버네티스로 - Airflow 운영 경험기
두줄요약
관리형 Airflow를 Kubernetes로 이관하며 CPU 급등, OOM, 로그 누락 문제를 분석·개선했습니다. 리소스 격리와 Worker 확장으로 안정성을 높이고 비용을 약 50% 절감했습니다.
문제 상황
- 관리형 Airflow를 Kubernetes 환경으로 이관한 뒤 DAG 증가에 따른 Scheduler CPU 급등
- Worker 메모리 경합으로 인한 Pod·노드 OOM 및 태스크 지연·실행 로그 누락
원인 분석
- GitSync DAG 추가와 Airflow 2.0의 DAG 직렬화·Metadata DB 저장에 따른 Scheduler 파일 I/O 증가
- Kubernetes 오버커밋 환경의 메모리 경합, BigQuery 작업 지연과 Worker 동시 처리 한계
해결 방법
min_file_process_interval상향으로 DAG 파싱 주기와 CPU 사용량 조정- Worker request·limit 설정과 Taint/Tolerations 기반 노드 격리
- Worker 수를 1대에서 2대로 확장해 태스크 대기 및 로그 누락 감소
성능/운영 포인트
- 관리형 서비스 고정 비용을 Kubernetes 노드 사용 비용으로 전환해 약 50% 절감
- 로그 수집·모니터링 고도화 필요성 확인
