Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
백엔드
Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
두줄요약
Nifi 기반 SMS 파이프라인의 구조적 한계를 해결하기 위해 Apache Flink로 전환했습니다. 실시간 처리, 상태 관리, 운영 안정성과 확장성을 함께 개선했습니다.
문제 상황
- Nifi 기반 실시간 SMS 파이프라인에서 다른 파이프라인 장애가 전체 클러스터에 영향을 주는 구조적 위험
- 하루 1억 건 이상 유입되는 SMS를 배치나 느린 처리로 다루며 피처 반영 지연, 신규 사용자 초기 신용평가 어려움, 모델 검증 시점의 시차 발생
원인 분석
- GUI 중심 Nifi 구조의 복잡한 조건 분기와 상태 기반 로직 운영 한계
- Kinesis 수신부터 DynamoDB 저장까지의 지연과 큐 적체
- 단일 클러스터 내 다중 파이프라인 운영으로 인한 간섭 가능성
해결 방법
- Apache Flink와 Amazon Managed Service for Apache Flink로 스트리밍 처리 구조 전환
- ProcessFunction, KeyedProcessFunction, Session Windows, StreamingFileSink로 분기, 지연 처리, 중복 제거, S3 저장 구현
- 로컬 Docker 개발 환경, 2주 정합성 검증, CloudWatch·Grafana 모니터링, 저유입 시간대 단계적 배포로 안전한 전환