

컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연, 스토리지, 쿼리 경합, 복잡성 문제를 분석했습니다. BigQuery Streaming API와 프로젝트·파티션 분리로 개선 방향을 설계했습니다.


기존 데이터 파이프라인의 지연, 스토리지, 쿼리 경합, 복잡성 문제를 분석했습니다. BigQuery Streaming API와 프로젝트·파티션 분리로 개선 방향을 설계했습니다.


기존 데이터 파이프라인의 지연과 복잡성을 줄이기 위해 컬리가 BigQuery 도입 배경과 주안점을 정리했습니다. 스트리밍 적재, 파티션 관리, 프로젝트 분리로 성능과 비용을 함께 고려했습니다.

FCM 푸시의 TOKEN, TOPIC 개념과 발송 흐름을 정리하고 서버 설계 사례를 소개했습니다. 또한 멀티 FirebaseApp 관리, iOS APNs 이슈, FCM의 한계점까지 함께 다뤘습니다.

카카오페이 서버 개발의 결제·정산 도메인과 주요 서비스 구현 사례를 소개했습니다. Kotlin·Spring·MySQL·Kafka 기반 개발과 운영 환경, 협업 문화를 설명합니다.


리디에서 내부 API를 Kafka 기반 이벤트 버스로 전환한 활용 사례를 소개했습니다. 실시간 랭킹, 분석, 작업 큐, 이벤트 처리에 Kafka를 적용한 방식과 예시 코드를 다뤘습니다.


쿠키런: 킹덤 출시 직후 발생한 대규모 장애를 신입 입사자의 시점에서 회고한 글입니다. 데이터 이주와 정합성 검증을 통해 서비스를 복구한 과정을 담았습니다.

DB Trigger를 제거하고 Kafka 기반 비동기 분산처리로 전환하는 과정에서 재시도 로직을 구현한 사례를 소개했습니다. Spring Cloud Stream을 이용한 적용 과정을 기술적으로 공유했습니다.
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.


커머스 시계열 지표의 급변을 자동 감지하기 위해 온라인 CPD와 SDAR 기반 모델을 도입했습니다. Airflow와 Glue로 ETL·알림 파이프라인을 구성해 Slack 경보까지 연결했습니다.

Elasticsearch 색인 구조를 Kafka와 Debezium 기반 이벤트 처리로 전환한 사례를 소개했습니다. ECK를 함께 적용해 색인 속도와 운영 안정성을 함께 높였습니다.


AWS에서 Apache Kafka를 사용하는 MSK를 소개하고, 마이그레이션 과정에서의 활용 배경을 다루었습니다. 또한 서비스 이해를 돕기 위해 직접 실습한 내용을 중심으로 설명했습니다.


Kafka Streams로 서로 다른 토픽의 동일 키 메시지를 병합해 검색 인덱싱 파이프라인을 단순화했습니다. Spring Kafka와 헬스체크로 스트림즈 상태를 관리·모니터링했습니다.


카프카 스트림즈로 서로 다른 토픽의 메시지를 병합해 검색 인덱싱 파이프라인을 구성한 사례를 다뤘습니다. 또한 스프링과 연동해 생명주기 관리와 헬스체크 가시성을 확보했습니다.


카프카 컨슈머 적체와 반복 리밸런싱으로 지연된 검색 색인 문제를 분석했습니다. max.poll과 Spring Kafka 배치 리스너 조정으로 스루풋을 높이고 리밸런싱을 방지했습니다.


검색 인덱싱 파이프라인의 메시지 적체와 반복 리밸런싱 원인을 Kafka 소비 설정에서 점검했습니다. Batch Listener와 배치 색인으로 처리 스루풋을 높이고 리밸런싱을 방지했습니다.