데브옵스

Dataflow로 컬리의 준실시간 수요 예측모델 파이프라인 구축하기 - 1편

마켓컬리2023년 4월 10일

두줄요약

컬리의 준실시간 수요 예측 모델을 위해 Dataflow 파이프라인을 도입한 배경과 전체 동작 방식을 설명했습니다. Beam, Flex 템플릿, CI/CD, 권한 설정 등 실무 적용 포인트도 함께 정리했습니다.

컬리의 준실시간 수요 예측 모델 서빙을 위해 GCP BigQuery 기반 Dataflow 파이프라인 도입 배경과 필요성 정리
Dataflow와 Apache Beam의 관계, queued/running 상태에서의 실행 흐름, 배치·스트리밍 파이프라인 차이 설명
Flex 템플릿 구조, Dockerfile·메타데이터·main.py·setup.py 구성, GitHub Actions 기반 CI/CD 배포 절차 소개
스트리밍 엔진 사용, save_main_session 설정, service account 권한 분리 등 운영 시 유용한 설정 팁 제시