![[기술 블로그] 로플랫의 대용량 데이터 처리](https://miro.medium.com/v2/resize:fit:1200/1*gTyZ_EDEHjmjLHoXhTkIPg.png)
백엔드
[기술 블로그] 로플랫의 대용량 데이터 처리
두줄요약
월 4.5TB 위치 로그를 처리하기 위한 설계·구현·운영·장애 대응 원칙을 소개했습니다. BigQuery, 사전 집계, Redis와 쿼리 최적화로 대용량 분석 부담을 줄였습니다.
문제 상황
- 월간 4.5TB씩 축적되는 위치 로그와 기간별 검색·분석 요구
- 최대 90일치 13.5TB 데이터에서 짧은 응답 시간 내 조건 검색 필요
구조와 흐름
- 설계 단계에서 분산 쿼리와 확장성을 제공하는 BigQuery 기반 분석 시스템 선택
- 구현 단계에서 FTS 인덱스·Elasticsearch, 사전 집계, Redis를 통한 조회 부하 완화
- 운영 단계에서 최적화 데이터 활용, 저비용 스토리지 이동, 조회 필드·기간 제한
성능/운영 포인트
- LIKE 검색의 인덱스 미활용과 동시 조회 시 데이터베이스 부하 위험
- 실시간 집계 대신 일정 주기 사전 생성으로 유일값 포함 집계 조회 처리
- 와일드카드 검색 자제와 필요한 필드·기간만 조회하는 쿼리 최적화
주의할 점
- SaaS SLA 비보장 상황을 고려한 재실행, 이중화, 알림, 우회·재시도 절차
- 분산 시스템 장애 대응을 위한 카오스 엔지니어링 검토
