백엔드
신뢰할 수 있는 메트릭과 실험 플랫폼
두줄요약
Event·Metric Config와 증분 집계로 실험 메트릭 계산을 표준화했습니다. Z-test·Delta Method와 통합 UI로 결과 해석 불일치를 줄였습니다.
문제 상황
- 시트 기반 메트릭 관리의 스키마·변경 이력 부재와 입력 오류
- 복잡한 SQL 중복, 실험 전체 기간 재계산, 팀별 통계 검정 방식 차이
- 정규 분석과 개인별 후속 분석 간 수치 불일치로 인한 해석·의사결정 지연
구조와 흐름
- 관측 사실인 Event와 Subject별 집계 규칙인 Metric의 YAML 기반 분리
- Subject Level Aggregation 이후 Slice Level Data Cube로 breakdown·rollup 결과 생산
- Airflow의 동적 Task 구성과 dependencies 기반 Sensor로 Spark 작업 선행 조건 관리
해결 방법
- 메트릭 정의 해시와 watermark 기반 증분 집계, 정의 변경 시 캐시 무효화 및 전체 재분석
- Z-test와 Delta Method 기반 통계 검정 일원화, 집계 단계의 요약 통계치 동시 저장
- 메트릭 카탈로그·Workspace·실험 UI로 정의 조회와 후속 분석의 동일 계산 규칙 공유
성능/운영 포인트
- 활성 실험이 사용하는 메트릭만 작업으로 생성해 카탈로그 전체 크기와 작업 규모 분리
- 변경분 처리 중심의 동적 분석 범위로 처리 시간·비용 예측성과 장애 복구 단순화
- PR 기반 정의 변경과 실행 결과 첨부로 검토·배포 흐름의 투명성 강화
