백엔드
뱅크샐러드의 실험플랫폼 분석 인프라 살펴보기
두줄요약
수동 Notebook 분석의 인적과오와 확장성 문제를 자동 실험 분석 파이프라인으로 해결했습니다. 지표 설정·데이터 준비·통계 계산을 분리해 신뢰성과 재사용성을 높였습니다.
문제 상황
- 수동 Python Notebook 기반 실험 분석의 반복 작업과 분석 인력 소모
- 실험명·지표·기간 입력 오류에 따른 데이터 정합성 및 의사결정 신뢰성 저하
- 단일 스크립트 구조로 인한 신규 분석 방법론 추가와 코드 리뷰의 어려움
구조와 흐름
- Metric Configuration, Data Preparation, Metric Calculation의 3단계 자동 분석 파이프라인
- 실험 정보·Trigger Event·Subject Event를 가공해 분석 입력 데이터 준비
- Experiment Event, Subject-level Aggregated, Metric-level Aggregated, 최종 분석 결과의 독립 단계 구성
선택 이유
- 단계별 결과를 AWS S3에 적재해 재분석 시 저장 결과 재사용
- 지표 추가·통계 방법론 변경·장애 디버깅 시 영향 범위를 특정 단계로 한정
- 실험 노출 이후 데이터만 사용하고 지표 수치·차이·p-value·신뢰구간 제공
성능/운영 포인트
- 자동화로 주당 약 2시간의 Data Scientist·Analyst 수동 작업 절감
- 인적과오에 따른 데이터 정합성 문제 완화
- UI 기반 결과 조회로 Python 이해 없이 실험 결과 접근성 향상
