
Nifi에서 Apache Flink로, 실시간 SMS 파이프라인 개선기
Nifi 기반 SMS 파이프라인의 구조적 한계를 해결하기 위해 Apache Flink로 전환했습니다. 실시간 처리, 상태 관리, 운영 안정성과 확장성을 함께 개선했습니다.
새로운 기술 블로그가 추가되었어요

Nifi 기반 SMS 파이프라인의 구조적 한계를 해결하기 위해 Apache Flink로 전환했습니다. 실시간 처리, 상태 관리, 운영 안정성과 확장성을 함께 개선했습니다.

회원 인증의 종류와 국내·해외 차이를 정리하고, 가입 흐름을 개선한 사례를 소개했습니다. 인증 방식을 목적별로 묶어 설계하면 부정 사용을 줄이고 이탈률도 낮출 수 있었습니다.

레거시 시스템 전환을 단순 교체가 아닌 점진적 이관 관점에서 정리했습니다.피처 플래그, 카나리 전환, 데이터 검증으로 서비스 안정성을 지키는 방법을 소개했습니다.

기존 앱 리뷰 수신의 2~3일 지연 문제를 해결하기 위해 공식 스토어 API 기반 시스템을 구축했습니다. Slack 알림과 자동 배포, 모니터링을 더해 리뷰 수신 리드타임을 50% 단축했습니다.


MySQL 기본 격리 수준인 REPEATABLE READ 때문에 결제 트랜잭션에서 오래된 잔액이 유지되는 문제를 겪었습니다. 락 위치와 격리 수준을 조정해 동시성 이슈를 해결하는 과정을 정리했습니다.


타임존 오류를 계기로 서울과 평양의 시간대 변천과 서머타임 역사를 살펴보았습니다. 시간 처리에는 정치적 변화와 전환 시점의 예외까지 함께 고려해야 했습니다.


Airflow 3.0의 DAG Versioning 기능과 DAG Bundle 구조를 소개했습니다. GitDagBundle을 통해 과거 버전의 DAG를 안정적으로 실행하는 방법을 설명했습니다.

삼성 계정의 대규모 트래픽 환경에서 Kafka를 이용해 개인정보 암호화와 스키마 전환을 다룬 사례입니다. 무중단 운영을 위해 메시지 기반 처리와 단계적 전환을 고려했습니다.

실시간 마케팅을 위해 SNS-Lambda-Kinesis-Flink-DB 파이프라인 PoC를 진행했습니다. 12k RPS 목표를 기준으로 병목을 찾아 SQS 추가와 Flink 최적화로 개선했습니다.


Raft와 sofa-jraft로 3노드 고가용 우선순위 큐를 구현한 사례를 소개했습니다. 리더 선출과 로그 복제로 장애 상황에서도 일관성을 유지하는 흐름을 설명했습니다.


Amazon S3 Tables의 자동 컴팩션이 작은 파일로 인한 읽기 오버헤드를 줄여 쿼리 성능을 높이는 방법을 소개했습니다. 테스트에서는 스토리지 집약적 워크로드에서 최대 3배 수준의 개선을 보였습니다.


Ruff는 Flake8, isort, Black을 통합한 초고속 Python 코드 품질 도구를 소개했습니다. pre-commit과 단계적 마이그레이션으로 대규모 프로젝트에도 적용하는 방법을 다뤘습니다.