백엔드
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
두줄요약
분석 테이블을 API로 제공하는 dataserving 플랫폼 구축 과정을 소개했습니다. protobuf 명세와 데이터 파이프라인으로 다양한 데이터 제품 개발을 지원했습니다.
문제 상황
- 여러 서비스와 장기간 데이터를 조합하는 분석 결과의 프로덕션 직접 계산 부담
- 분석 데이터를 서비스에 전달하는 방식과 API 명세가 제품마다 달라지는 설계 반복
- 소규모 데이터 제품마다 서버 엔지니어 기여와 신규 서비스 구축 여부 검토
해결 방법
- 분석 테이블을 프로덕션 API로 제공하는 dataserving 플랫폼 구축
- 데이터 분석가의 protobuf 기반 IDL 명세 정의와 데이터 파이프라인 배포 지원
- 조회 조건 key를 포함한 insert operator로 분석 테이블의 주기적 업데이트
구조와 흐름
- S3·Glue 기반 분석 저장소에서 datapipe가 계산한 테이블을 dataserving으로 적재
- 클라이언트와 서비스의 dataserving API 호출을 통한 분석 데이터 활용
- Amazon DocumentDB 기반 JSON 문서 저장, 인덱싱 및 다양한 스키마·조회 조건 지원
성능/운영 포인트
- 배치 데이터 서빙 중심 구조에 서비스 API 조합, 접근 제어, 유저 이벤트 스트림 구성 추가
- 분석 데이터 안정성, 실시간성, 운영 효율의 지속적 개선 과제
