새로운 기술 블로그가 추가되었어요
OpenTelemetry와 ClickHouse로 APM 스캐터 차트를 만들고 Grafana 커스텀 패널로 10만 점 산점도를 그린 사례를 다뤘습니다. 구현 후 드러난 함정 3가지와 대용량 시각화 시 점검 포인트를 정리했습니다.
OpenTelemetry로 APM 데이터를 수집하고 ClickHouse에 저장해 스캐터 차트를 만드는 과정을 소개했습니다. 1편에서는 수집과 저장 단계에 초점을 맞췄습니다.
MySQL 기반 광고 성과 집계의 확장성과 안정성 문제를 해결하기 위해 StarRocks를 도입했습니다.\n외부 원천, MV 설계, 아키텍처 전환으로 부하 분리와 복구 편의성을 확보했습니다.
MySQL과 ClickHouse의 OLTP·OLAP 역할 차이와 열 단위 저장 구조를 비교했습니다. 5,000만 건 테스트와 운영 사례로 대량 집계 성능 및 도입 기준을 제시했습니다.
OpenTelemetry와 ClickHouse로 대용량 로그 파이프라인을 다시 설계한 사례를 소개했습니다. 하루 41TB 로그를 20초 이내 처리하고 비용을 크게 줄인 과정을 정리했습니다.
고객 타게팅 정교화를 위해 주문·쿠폰·장바구니 데이터를 ClickHouse 기반 OLAP로 옮긴 과정을 정리했습니다. 다만 ReplacingMergeTree, JOIN, Point Query 한계를 보완하려고 하이브리드 아키텍처를 함께 도입했습니다.
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
고객 타게팅 정교화를 위해 대용량 커머스 데이터를 처리할 OLAP로 ClickHouse를 도입했습니다. 다만 JOIN, Point Query, 업데이트성 데이터 제약은 Hot/Cold 분리와 보조 저장소로 보완했습니다.
대량의 고객 여정 데이터를 빠르게 조회하기 위해 ClickHouse를 도입한 사례를 소개했습니다. 컬럼 지향 저장과 압축 덕분에 분석·AI 처리에 강하지만, 업데이트와 복잡한 트랜잭션에는 한계가 있습니다.
Kafka Broker request log와 METADATA API를 활용해 서비스와 Topic 연결을 실시간으로 추적하는 방법을 소개했습니다. ClickHouse, conntrack, Lag metric 조인으로 소스 수정 없이 MSA 관측성을 높였습니다.
토스증권은 수천 개 실시간 데이터 파이프라인을 DAG 리니지 시각화로 관리했습니다.\nMongoDB Graph Search 기반 탐색과 상세 정보 제공으로 운영 효율과 커뮤니케이션 비용을 줄였습니다.
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
Kubernetes 환경에 맞춰 로그 플랫폼을 다시 설계해 서비스 통합 비용을 줄였습니다. 로그 성격별 파이프라인 분리와 다양한 저장 형식 지원으로 확장성과 운영 효율도 높였습니다.
