[기술 블로그] 로플랫의 대용량 데이터 처리
월 4.5TB 위치 로그를 처리하기 위한 설계·구현·운영·장애 대응 원칙을 소개했습니다. BigQuery, 사전 집계, Redis와 쿼리 최적화로 대용량 분석 부담을 줄였습니다.
#BigQuery#Elasticsearch#Redis
2700
![[기술 블로그] 로플랫의 대용량 데이터 처리](https://miro.medium.com/v2/resize:fit:1200/1*gTyZ_EDEHjmjLHoXhTkIPg.png)

월 4.5TB 위치 로그를 처리하기 위한 설계·구현·운영·장애 대응 원칙을 소개했습니다. BigQuery, 사전 집계, Redis와 쿼리 최적화로 대용량 분석 부담을 줄였습니다.
![[기술 블로그] 로플랫의 대용량 데이터 처리](https://miro.medium.com/v2/resize:fit:1200/1*gTyZ_EDEHjmjLHoXhTkIPg.png)
전국 WiFi 관측 데이터로 AP Map을 구축하고 WPS 위치를 추정하는 방식을 소개했습니다. 이동·이전 AP를 클러스터링으로 제거하고 Golden Set으로 성능을 개선했습니다.
