
How we pipe data
두줄요약
여러 국가의 유저 행동 및 광고 데이터를 다양한 저장소에서 수집하는 환경을 소개했습니다. 분석과 활용을 위해 분산 데이터를 한곳에 모으는 필요성을 설명합니다.
문제 상황
- 30개국 1,700만 이상 유저의 잠금화면 행동·광고 노출·클릭 데이터 수집
- MySQL, DynamoDB, Redis, S3 등 여러 저장소에 분산된 이종 데이터
적용해볼 점
- 분석과 활용을 위한 분산 데이터의 중앙 집계 필요성
- 데이터 소스와 저장소 특성을 고려한 데이터 파이프라인 설계
