실시간 광고 사용자 ID 매핑
두줄요약
실시간 광고 사용자 ID 매핑 시스템의 설계와 처리 흐름을 소개했습니다. Kafka, Spark, gRPC, ZooKeeper와 트리 기반 매핑 알고리즘으로 확장성과 유연성을 확보한 사례입니다.
핵심 내용
- 네이버 광고 시스템의 실시간 사용자 ID 매핑을 위해, 이벤트 로그에서 추출한 여러 ID를 하나의 group_id로 연결하는 시스템 설계와 동작 흐름 소개
- Apache Kafka, Spark Structured Streaming, gRPC, ZooKeeper를 조합한 마이크로서비스 아키텍처와, HDFS·인메모리 DB·세컨더리 DB로 분산 저장하는 처리 구조 설명
- 사용자 ID를 그래프/트리로 모델링하고, ID 타입 우선순위와 이벤트 시간, 경로 길이 등을 기준으로 기준 노드를 선택하는 매핑 알고리즘 정리
- 스트리밍/배치 입력에 따른 트리거 설정, 커스텀 싱크 구현, 확장성과 HA를 고려한 운영 포인트 공유


