백엔드
FAST: 데이터 파이프라인 이제는 웹에서
두줄요약
웹 기반 배치 생성 툴 FAST로 데이터 파이프라인 작성 과정을 단순화했습니다. 비개발자도 입력값만 채워 Airflow 배치를 만들고, 운영 공수도 줄였습니다.
핵심 내용
- 웹 기반 데이터 파이프라인 생성 툴 FAST 소개
- Zeppelin Cron, Airflow 직접 생성, Redash 대시보드 등 분산된 배치 수단을 하나의 웹 UI로 통합
- 사용자는 입력 폼만 채워 Airflow DAG용 Python 코드와 YAML 구성 파일로 자동 변환된 파이프라인을 배포
- 템플릿 제공, 쿼리 검증, 변경 이력 관리, 복제·롤백 등 운영 편의 기능 포함
선택 이유
- 비개발자도 쉽게 사용할 수 있는 직관적 접근성 확보
- 개발지식 의존도와 데이터 엔지니어와의 반복 커뮤니케이션 감소
- 산발적인 컴포넌트 운영 공수 절감과 유지보수 부담 완화
장단점
- 장점: 사용성 향상, 안정적인 배치 구성, 템플릿 재사용, 배포 이력 관리
- 단점: 기존 방식은 YAML, git, Jenkins, Redash 접속 등 학습 허들 존재
- 단점: 무거운 쿼리나 분산된 운영으로 배치 실패와 관리 복잡도 발생
적용해볼 점
- 반복 배치 업무를 웹 폼과 템플릿으로 표준화
- 실행 전 쿼리 검증과 변경 이력/롤백 기능으로 안전성 강화
- 비개발자 대상 데이터 리터러시 도구를 함께 설계
