

컬리의 BigQuery 도입기 - 2부
BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다.\nMerge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.
#BigQuery#Kafka
000
새로운 기술 블로그가 추가되었어요


BigQuery 기반 CDC 파이프라인으로 정형·비정형 데이터를 Final 테이블에 동기화했습니다.\nMerge와 리소스 분리로 적재 시간·조회 응답 시간·비용을 개선했습니다.

Elasticsearch 색인 구조를 Kafka와 Debezium 기반 이벤트 처리로 전환한 사례를 소개했습니다. ECK를 함께 적용해 색인 속도와 운영 안정성을 함께 높였습니다.

CDC 데이터를 Kafka Streams로 가공해 Druid에 색인하고 API로 제공하는 PDS 구조를 소개했습니다. 실시간 집계와 운영 모니터링을 함께 설계한 사례를 다뤘습니다.