쿠버네티스 네이티브 워크플로를 이용한 대용량 스트리밍 파이프라인 검증 자동화 - 2편
Tekton과 PIPE를 활용해 대용량 스트리밍 파이프라인의 성능 테스트를 자동화한 사례를 소개했습니다. 동적 설정과 지표 수집을 결합해 반복 실험과 결과 공유를 빠르게 수행했습니다.
#Tekton#Kubernetes#Kafka
1800

Tekton과 PIPE를 활용해 대용량 스트리밍 파이프라인의 성능 테스트를 자동화한 사례를 소개했습니다. 동적 설정과 지표 수집을 결합해 반복 실험과 결과 공유를 빠르게 수행했습니다.

LINE VOOM 실시간 추천을 위해 Go 채널 대신 Redis Streams 기반 큐잉 구조를 도입한 과정을 소개했습니다. 클러스터 메모리 집중 문제를 쿠폰 수집가 문제로 풀고, 운영 스위치와 모니터링 API까지 마련했습니다.

대용량 스트리밍 파이프라인의 성능과 장애 대응을 실제 데이터로 검증해야 하는 배경을 설명했습니다. 쿠버네티스 네이티브 워크플로를 이용한 반복 실험 자동화 방식을 Tekton과 Litmus로 풀어갈 계획입니다.

Slack Hubot으로 Jira, ArgoCD, Jenkins, Ansible을 연계해 업무를 자동화한 사례를 소개했습니다. ChatOps 도입으로 배포와 운영의 속도, 정확성, 공유 투명성을 높였습니다.

Vector를 활용해 멀티 CDN 로그와 트래픽 모니터링 체계를 통합한 사례를 다뤘습니다. 로그 정규화, 메트릭 변환, 버퍼링과 모니터링까지 쿠버네티스 기반으로 고도화했습니다.

Rundeck과 Ansible로 서버 작업을 자동화하고 권한을 분리한 사례를 소개했습니다. 수천 대 서버 환경에서 반복 작업과 직접 접근 위험을 줄이고 운영 신뢰성을 높였습니다.
