데브옵스
Airflow를 활용하여 아름다운 데이터 파이프라인 구성하기 / if(kakao)2019
두줄요약
Airflow의 주요 개념과 아키텍처, 데이터 파이프라인 구성 방법을 소개했습니다. 유사 워크플로 관리 도구와 비교해 카카오페이지의 선택 및 운영 방식을 설명했습니다.
핵심 내용
- 데이터 파이프라인 생성·관리 플랫폼 Apache Airflow 소개
- workflow management tool의 필요성과 기본 활용법 설명
- 카카오페이지 데이터 분석 문제를 위한 Airflow 활용 사례
선택 이유
- Oozie, Azkaban, AWS Data Pipeline과의 기능·장단점 비교
- 비교 결과를 바탕으로 한 카카오페이지의 Airflow 선택 배경
구조와 흐름
- Airflow 주요 개념과 아키텍처 구성
- Apache Airflow 시연과 데이터 파이프라인 구성 방식
성능/운영 포인트
- 플랫폼 가용성 유지를 위한 구성 검토
- 카카오페이지 환경에 맞춘 Airflow 활용 방식
