밑바닥부터 시작하는 실시간 데이터 파이프라인 : Debezium 톺아보기
기존 배치 적재의 지연을 줄이기 위해 Debezium 기반 실시간 CDC 파이프라인을 구축한 과정을 정리했습니다. Kafka Connect 구조, 스냅샷, 오프셋 관리와 성능 개선 포인트까지 살펴보았습니다.
#Debezium#Kafka Connect
17300
국내 IT 기업 기술 블로그 최신 글
필터 1
7ms로 끝내는 인가 체크, flex는 아키텍처부터 다르게 설계합니다
분산환경의 메시지 신뢰성과 인가 성능을 동시에 해결하기 위해 구조를 분리한 사례를 소개했습니다. 모든 요청의 권한 체크를 평균 7ms 이내로 처리하도록 설계했습니다.
#Kafka#transaction
1800
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (4)
Kafka 프로듀서 최적화와 압축 기능 활용 방법을 다룬 세션입니다. 실무에서 성능 개선에 도움이 되는 설정과 동작 방식을 정리했습니다.
#Kafka
19300
서비스 조직에서 Kafka를 사용할 때 알아 두어야 할 것들 (3)
Kafka Client가 클러스터 상태를 알기 위한 metadata 동작과 교환 방식을 설명했습니다. 서비스 개발에서 관련 옵션을 어떻게 잡아야 하는지도 다뤘습니다.
#Kafka#cloud
14500
AI 실시간 추천 시스템을 위한 Flink 기반 스트림 조인 서비스 구축기
Azar의 실시간 추천 시스템을 위해 Flink KeyedProcessFunction 기반 스트림 조인과 배포 전략을 구축한 사례를 소개했습니다. Savepoint, Blue-Green 배포, Redis 중복 제거로 무중단과 Exactly Once를 구현했습니다.
#Apache Flink#Kafka
9300
밑바닥부터 시작하는 추천시스템 with Kubeflow
Kubeflow로 추천 시스템의 데이터 수집, 학습, 서빙, 튜닝까지 전체 흐름을 구성한 사례를 소개했습니다. 오프라인 추론 전환과 파이프라인 자동화로 응답 속도와 운영 효율을 개선했습니다.
#Kubeflow#Kafka
6700
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
대규모 트래픽 속 Kafka 를 이용한 개인정보 암호화 및 스키마 전환
삼성 계정의 대규모 트래픽 환경에서 Kafka를 이용해 개인정보 암호화와 스키마 전환을 다룬 사례입니다. 무중단 운영을 위해 메시지 기반 처리와 단계적 전환을 고려했습니다.
#Kafka#대규모 트래픽
400
실시간 OLAP을 위한 Apache Pinot 운영 노하우
Apache Pinot를 실시간 OLAP 용도로 도입해 운영하며 얻은 안정성·보안·DR 노하우를 정리했습니다. Upsert, Kafka 재개, Trino gRPC 등 실무에서 겪은 주의점과 대응 방법도 함께 소개했습니다.
#Apache Pinot#OLAP
6800
AI ＆ Event Driven 오디오 데이터 LinkedIn 글 자동 발행 (feat. Apache Flink)
오디오를 텍스트로 바꾸고 GPT로 LinkedIn 글을 자동 생성하는 이벤트 기반 워크플로를 소개했습니다. 프론트엔드와 AI 처리를 분리해 확장성과 유지보수성을 높인 점이 핵심입니다.
#Next.js#OpenAI API
5100
토스증권의 Nasdaq Smart Options 실시간 제공 사례
토스증권은 Nasdaq Smart Options 실시간 시세를 국내에 안정적으로 전송하기 위해 글로벌 인프라와 EKS 기반 소비 구조를 구축했습니다. 또한 Sliding Window Counter와 장애 대응 체계를 적용해 지연과 유실을 줄였습니다.
#AWS#Kafka
10300
쿠폰, 어디에 쓸 수 있어요? — 이벤트 기반 적용 상품 조회 시스템 구축
쿠폰 적용 가능 상품을 실시간으로 조회하기 위해 이벤트 기반 반정규화와 Elasticsearch 인덱싱 구조를 구축했습니다. 복잡한 매핑과 갱신 조건을 단순화하고 검색 성능과 운영성을 함께 개선했습니다.
#Kafka#Elasticsearch
19800
검색 Indexing 파이프라인 개선기
검색 색인 파이프라인의 생산성과 안정성을 높이기 위해 설정 기반 자동화, Offline Storage 활용, 배치 처리 구조를 도입했습니다. 이를 통해 대용량 이벤트와 풀색인 비용 문제를 줄이고 운영 효율을 개선했습니다.
#검색#pipeline
14300
Feed-Entity: 당근 피드의 심장
당근은 피드 콘텐츠를 Feed-Entity로 표준화해 여러 서비스의 데이터를 한 구조로 관리했습니다. 수집·변환·검증·서빙을 모듈화하고 지역별 캐시로 읽기 성능과 확장성을 높였습니다.
#Redis#cache
20500
캐시를 적용하기 까지의 험난한 길 (TPS 1만 안정적으로 서비스하기)
약관 서버의 DB 부하를 줄이기 위해 Redis 캐시와 강한 일관성 전략을 적용했습니다. 캐시 무효화 실패와 이벤트 순서 문제는 트랜잭션 동기화와 정책으로 해결했습니다.
#cache#Redis
47900