Kafka Streams를 k8s로 옮기며 얻은 스케일링 설계: 비용 80% 절감까지
EC2 기반 Kafka Streams를 k8s와 KEDA로 옮겨 consumer lag 중심 스케일링을 설계했습니다. 그 결과 트래픽에 맞는 운영과 80% 이상 비용 절감을 달성했습니다.
#Kafka Streams#Kubernetes
2200
국내 IT 기업 기술 블로그 최신 글
새로운 기술 블로그가 추가되었어요
필터 1
Kafka Streams 기반 EDA 구축 사례: 올리브영 품절 시스템 현대화 프로젝트
품절 조회를 Oracle 함수 중심 구조에서 Kafka Streams 기반 EDA로 전환해 실시간 재고 처리를 개선했습니다. 그 결과 올영세일 기간 Oracle 함수 호출량을 크게 줄이며 서비스 안정성을 높였습니다.
#Kafka Streams#EDA
31900
Kafka Streams 윈도우 도입기
재고 정산의 스파이크성 트래픽을 Kafka Streams 텀블링 윈도우로 집계했습니다. 생성 시각 추출과 파티션별 더미 이벤트로 시간 정합성과 윈도우 종료를 해결했습니다.
#Kafka#Kafka Streams
000
Kafka와 Strimzi를 이용하여 6개의 도메인을 하나의 도메인으로 합쳐보았습니다
6개 도메인을 하나의 통합 모델로 옮기기 위해 Kafka, CDC, Kafka Streams 기반 마이그레이션 파이프라인을 구축했습니다. Strimzi Operator로 Kafka Connect를 관리하며 준실시간 데이터 통합과 재실행 가능성을 확보했습니다.
#Kafka#Strimzi
3300
허튼짓은 그만: Kafka Streams를 활용한 실시간 이상 로그인 감지 시스템 도입하기
Kafka Streams로 로그인 성공·실패 이벤트를 실시간 분석해 이상 로그인 감지 시스템을 구축했습니다. 상태 저장소, windowing, 모니터링 설정으로 보안 대응성과 운영 안정성을 높였습니다.
#Kafka#Kafka Streams
5500
MRT Public Data Service 개발 — 2
CDC 데이터를 Kafka Streams로 가공해 Druid에 색인하고 API로 제공하는 PDS 구조를 소개했습니다. 실시간 집계와 운영 모니터링을 함께 설계한 사례를 다뤘습니다.
#Kafka Streams#Druid
1100
쿠팡 파트너스
개발자를 위한 서적을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발서적#프로그래밍
컬리 검색이 카프카를 들여다본 이야기 2
Kafka Streams로 서로 다른 토픽의 동일 키 메시지를 병합해 검색 인덱싱 파이프라인을 단순화했습니다. Spring Kafka와 헬스체크로 스트림즈 상태를 관리·모니터링했습니다.
#Kafka#Kafka Streams
000