데브옵스
Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편
두줄요약
컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.
핵심 내용
- 컬리의 준실시간 수요 예측 모델 서빙을 위해 GCP BigQuery 기반 Dataflow 파이프라인 도입 배경과 필요성 정리
- Dataflow와 Apache Beam의 관계, queued/running 상태에서의 실행 흐름, 배치·스트리밍 파이프라인 차이 설명
- Flex 템플릿 구조, Dockerfile·메타데이터·main.py·setup.py 구성, GitHub Actions 기반 CI/CD 배포 절차 소개
- 스트리밍 엔진 사용, save_main_session 설정, service account 권한 분리 등 운영 시 유용한 설정 팁 제시