광고 성과 데이터 StarRocks 도입기
MySQL 기반 광고 성과 집계의 확장성과 안정성 문제를 해결하기 위해 StarRocks를 도입했습니다.\n외부 원천, MV 설계, 아키텍처 전환으로 부하 분리와 복구 편의성을 확보했습니다.
#Starrocks#MySQL
41005분
필터 1
MySQL 3분 vs ClickHouse 0.3초 — 같은 쿼리입니다
X
#MySQL#ClickHouse
322005분
일 41TB, 200억 건의 로그를 ClickStack으로 실시간 처리하기 - 호그와트 도서관 프로젝트
OpenTelemetry와 ClickHouse로 대용량 로그 파이프라인을 다시 설계한 사례를 소개했습니다. 하루 41TB 로그를 20초 이내 처리하고 비용을 크게 줄인 과정을 정리했습니다.
#ClickHouse#OpenTelemetry
141005분
고객 타게팅을 좀 더 정교하게, ClickHouse 도입기
고객 타게팅을 좀 더 정교하게, ClickHouse 도입기
고객 타게팅 정교화를 위해 주문·쿠폰·장바구니 데이터를 ClickHouse 기반 OLAP로 옮긴 과정을 정리했습니다. 다만 ReplacingMergeTree, JOIN, Point Query 한계를 보완하려고 하이브리드 아키텍처를 함께 도입했습니다.
#ClickHouse#OLAP
0005분
고객 타게팅을 좀 더 정교하게, ClickHouse 도입기
고객 타게팅 정교화를 위해 대용량 커머스 데이터를 처리할 OLAP로 ClickHouse를 도입했습니다. 다만 JOIN, Point Query, 업데이트성 데이터 제약은 Hot/Cold 분리와 보조 저장소로 보완했습니다.
#ClickHouse#OLAP
15005분
ClickHouse: 컬럼 지향 저장소와 AI 시대의 데이터 처리
대량의 고객 여정 데이터를 빠르게 조회하기 위해 ClickHouse를 도입한 사례를 소개했습니다. 컬럼 지향 저장과 압축 덕분에 분석·AI 처리에 강하지만, 업데이트와 복잡한 트랜잭션에는 한계가 있습니다.
#ClickHouse#컬럼 지향 저장소
116005분
토스증권의 수 천개 실시간 데이터 파이프라인 운영방법 #2: MSA 환경 Observability 높이기
Kafka Broker request log와 METADATA API를 활용해 서비스와 Topic 연결을 실시간으로 추적하는 방법을 소개했습니다. ClickHouse, conntrack, Lag metric 조인으로 소스 수정 없이 MSA 관측성을 높였습니다.
#Kafka#MSA
121005분
토스증권의 수천 개 실시간 데이터 파이프라인 운영방법 #1: Visualize Lineage
토스증권은 수천 개 실시간 데이터 파이프라인을 DAG 리니지 시각화로 관리했습니다.\nMongoDB Graph Search 기반 탐색과 상세 정보 제공으로 운영 효율과 커뮤니케이션 비용을 줄였습니다.
#MongoDB#Kafka
187005분
토스증권 Apache Kafka 데이터센터 이중화 구성 #2: 데이터 미러링
토스증권의 Active-Active Kafka 이중화에서 동일한 토픽명 미러링과 무한 루프 방지 방식을 소개했습니다. DLQ, 커스텀 메트릭, 클러스터 분리로 정합성과 운영성을 높인 사례입니다.
#Kafka#Kubernetes
37005분