DynamoDB야 진정해! Kafka와 Redis로 구현하는 실시간 역압력 아키텍처 구축기
DynamoDB 부하를 실시간으로 감지해 Kafka 컨슈머를 pause/resume하는 역압력 아키텍처를 구축했습니다. 운영 적용 후 처리량을 낮추고 실시간 API 안정성과 비용 절감을 확인했습니다.
#DynamoDB#Kafka#Redis
7600
DynamoDB야 진정해! Kafka와 Redis로 구현하는 실시간 역압력 아키텍처 구축기

DynamoDB 부하를 실시간으로 감지해 Kafka 컨슈머를 pause/resume하는 역압력 아키텍처를 구축했습니다. 운영 적용 후 처리량을 낮추고 실시간 API 안정성과 비용 절감을 확인했습니다.
외부 Batch Scheduler를 Quartz 기반으로 내재화한 과정과 최종 구조를 공유했습니다. 배포·롤백·중복 실행·무한 RUNNING 같은 운영 예외를 줄이기 위한 시행착오도 함께 정리했습니다.
Slack 명령어로 Jira와 GitLab 작업을 묶어 배포 반복 업무를 자동화한 사례를 소개했습니다. 사전 검증과 일괄 머지로 실수를 줄이고 팀 가시성을 높였습니다.

인터페이스 이력 관리 시스템을 AOP와 MDC, Kafka Interceptor로 구현한 과정을 정리했습니다. 멀티스레드 전파와 호출 스택 누락 문제를 여러 차례 개선한 시행착오를 공유했습니다.

Aurora MySQL의 밸런싱 편중과 RDS Proxy의 운영·비용 제약을 해결하기 위해 MaxScale 전환을 검토하고 적용했습니다. Autoscaling과 failover까지 고려한 자동화 구성으로 CPU와 connection 분산을 안정화했습니다.

주문서 진입 시 발생하던 상품권 점유 인증 조회 쿼리의 병목을 분석하고 개선했습니다. 서브쿼리를 제거하고 결합 인덱스와 LIMIT 1을 적용해 조회 성능을 크게 높였습니다.
