모든 태그
태그

Apache Kafka 기술 블로그 글

Apache Kafka 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

많이 쓴 회사 토스·라인·요기요

전체 7개최신 7개 표시
홈에서 필터

Apache Kafka 글을 많이 쓴 회사

최신 게시글

7개 표시

데브옵스

초당 100만 건, LINE 앱에 Apache Kafka 종단 간 암호화 적용기

LINE 메신저의 대규모 Kafka 토픽에 종단 간 암호화를 적용한 설계와 운영 경험을 공유했습니다. 공유 KEK, 평문 폴백, 점진적 배포로 무중단 전환과 낮은 성능 오버헤드를 달성했습니다.

#Apache Kafka#보안#encryption
19700

데브옵스

CDC 파이프라인을 Debezium과 Flink로 재설계한 이유

NiFi 기반 CDC 파이프라인의 확장성과 안정성 한계를 해결하기 위해 Debezium과 Flink로 재설계했습니다. Kafka, 체크포인트, 메트릭 모니터링을 결합해 정합성과 처리량을 높였습니다.

#Debezium#Apache Flink#Apache Kafka
2300

백엔드

토스증권 Apache Kafka 데이터센터 이중화 구성 #3: Offset Sync

토스증권이 Kafka Active-Active 환경에서 consumer offset sync를 구현한 방식을 소개했습니다. Timestamp 검색과 Header 참조를 나눠 쓰며 유실을 막고, 작업 상황의 중복까지 줄이도록 운영했습니다.

#Apache Kafka#Active-Active#offset
3900

아키텍처

토스증권 Apache Kafka 데이터센터 이중화 구성 #1

토스증권의 Kafka 데이터센터 이중화 개요를 소개하며 Active-Active와 Stretched Cluster를 비교했습니다. 가용성과 성능을 고려해 Active-Active를 선택하고 DNS와 Offset Sync 전략을 설명했습니다.

#Apache Kafka#Kafka#Kubernetes
17000

아키텍처

실시간 광고 사용자 ID 매핑

실시간 광고 사용자 ID 매핑 시스템의 설계와 처리 흐름을 소개했습니다. Kafka, Spark, gRPC, ZooKeeper와 트리 기반 매핑 알고리즘으로 확장성과 유연성을 확보한 사례입니다.

#gRPC#Spark Structured Streaming#Apache Kafka
3200

백엔드

엔지니어링 프로젝트 임팩트 산정하기

데이터 엔지니어링 프로젝트의 임팩트를 원화로 환산한 사례를 소개했습니다. 작업 리소스와 영향 범위를 기준으로 산정하는 접근법을 정리했습니다.

#Apache Kafka#ECS#cloud
1500

백엔드

Confluent Schema Registry 도입기!

요기요는 MSA 환경에서 분산된 데이터를 통합하기 위해 Confluent Schema Registry를 도입했습니다. SubjectNameStrategy 3종과 multiple type event 적용 이슈를 Pilot 경험을 바탕으로 정리했습니다.

#Confluent#Schema Registry#Apache Kafka
3600