데브옵스
쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 1편
두줄요약
대용량 스트리밍 파이프라인의 성능과 장애 대응을 실제 데이터로 검증해야 하는 배경을 설명했습니다. 쿠버네티스 네이티브 워크플로를 이용한 반복 실험 자동화 방식을 Tekton과 Litmus로 풀어갈 계획입니다.
핵심 내용
- LINE 광고의 대용량 스트리밍 파이프라인에서 실시간 처리량, 지연, 장애 복구, 상태 저장 검증이 필요한 배경 정리
- Heron 기반 전처리기와 Kafka, Redis로 구성된 스트리밍 구조에서 단위 테스트만으로는 성능과 오차율 검증이 어려운 이유 설명
- 실제 데이터와 유사한 조건에서 토폴로지 병렬성, 병목 지점, 최대 TPS를 반복 실험으로 측정해야 하는 필요성 제시
- 이를 위해 쿠버네티스 네이티브 워크플로인 Tekton과 Litmus를 활용한 자동화 검증 접근을 예고