데브옵스
팀 내 전처리 프레임워크 dagster 도입기
두줄요약
문서 전처리 파이프라인의 리소스 경합과 디버깅 어려움을 해결하기 위해 dagster를 도입했습니다. 파드 격리와 대시보드 관측성으로 안정성과 운영 효율을 높였습니다.
문제 상황
- FastAPI 백그라운드 태스크 기반 문서 전처리에서 트래픽 증가에 따른 리소스 경합
- 타임아웃, OOM, 파드 재시작으로 인한 요청 취소와 재시도 증가
- 로그 의존 디버깅과 재시작 불가로 인한 원인 추적 및 복구 어려움
원인 분석
- 여러 문서를 같은 인스턴스에서 동시 처리하는 구조
- 문서 형식과 크기가 다른 작업을 하나의 실행 흐름에 묶은 점
- 상태 확인과 재실행을 체계적으로 관리할 오케스트레이션 부재
해결 방법
- 워크플로우 오케스트레이션 도구 dagster 도입
- K8sRunLauncher로 실행 단위 파드 분리와 리소스 격리
- Code Location 분리와 대시보드 기반 관측성 확보
성능/운영 포인트
- 작업 큐잉으로 요청 급증 시에도 다른 작업 영향 최소화
- 파드 단위 격리로 특정 문서 실패가 전체 장애로 번지지 않음
- 실행 상태, 스텝 시간, 메타데이터를 대시보드로 추적