공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]
도메인별로 분산 운영되던 8개 Kafka 클러스터를 공통 Kafka로 통합하는 전환 과정을 정리했습니다. MirrorMaker2 기반 점진 전환으로 서비스 영향 없이 데이터 일관성과 Offset을 유지했습니다.
#Kafka#MirrorMaker2#Kafka Connect
6900
공통 Kafka 전환기 [Part 2. 공통 Kafka 전환 여정]
태그
Kafka Connect 기술 블로그 글
Kafka Connect 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 7개최신 7개 표시
관련 태그
최신 게시글
7개 표시
PostgreSQL to ES: (1) Kafka Connect CDC 파이프라인 구성
PostgreSQL 데이터를 Elasticsearch로 동기화하는 Kafka Connect CDC 파이프라인 구성 글입니다. 10년 넘게 운영한 레거시 시스템의 검색 연동 맥락을 소개합니다.
#PostgreSQL#Elasticsearch#Kafka Connect
7900
PostgreSQL to ES: (2) Kafka Connect 트러블슈팅
PostgreSQL에서 ES로의 CDC 파이프라인을 Kafka Connect로 구성한 뒤의 트러블슈팅 글입니다. 제공된 본문만으로는 구체적 문제와 해결 내용은 확인되지 않습니다.
#PostgreSQL#Elasticsearch#Kafka Connect
4900
밑바닥부터 시작하는 실시간 데이터 파이프라인 : Debezium 톺아보기
기존 배치 적재의 지연을 줄이기 위해 Debezium 기반 실시간 CDC 파이프라인을 구축한 과정을 정리했습니다. Kafka Connect 구조, 스냅샷, 오프셋 관리와 성능 개선 포인트까지 살펴보았습니다.
#Debezium#Kafka Connect#CDC
18100
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC Source Connector로 DB 데이터를 Kafka에 연동하는 구조와 증분 쿼리 모드를 설명했습니다.\n쿼리 기반 CDC의 누락 사례와 지연 옵션을 통한 완화 방법을 정리했습니다.
#Kafka#Kafka Connect#JDBC
000
Kafka Connect로 DB 데이터 쉽게 연동하기
Kafka Connect와 JDBC 소스 커넥터로 DB 데이터를 Kafka에 연동하는 방법을 설명했습니다. 쿼리 기반 CDC의 한계와 데이터 누락을 줄이는 설정도 함께 정리했습니다.
#Kafka Connect#JDBC#CDC
9200
카프카 커넥트와 오프셋 관리(2)
카프카 커넥트의 내부 오프셋 관리 방식과 REST API 기반 조작 방법을 설명했습니다. 예제로 오프셋을 되돌려 레코드를 다시 처리하는 과정을 보여주었습니다.
#Kafka#REST API#offset
2000
