AI
Open Problems in Data&Analytics
두줄요약
검색 품질 개선을 위한 실험 효율화, 모델 기반 지표, KPI 보정 과제를 소개했습니다. 신뢰·공정성 평가와 분석 파이프라인 운영 개선 방향도 함께 다뤘습니다.
구조와 흐름
- A/B 테스트 트래픽 효율화, 검색 만족도 지표 개발, KPI 추적, 신뢰·공정성 평가, 분석 인프라 개선의 병행 과제
- 검색 레이블과 사용자 로그, 실험 결과, 실시간 데이터를 분석 기반으로 활용
선택 이유
- 지표 분산 감소를 통한 실험 필요 트래픽 절감
- 다수의 품질 지표를 사용자 만족도 예측 기반 단일 지표로 통합
- 클릭·재방문 중심 최적화의 한계를 보완하는 신뢰성·공정성 측정
성능/운영 포인트
- Winsorization·비율 지표·CUPED를 통한 A/B 테스트 분산 및 p-value 개선
- 시계열 예측·인과추론으로 외부 요인을 분리한 KPI 추적
- 파이프라인 이상 감지·정상화, 문서화·형상관리, 실시간 분석 응답 속도 개선
적용해볼 점
- 실험 전 트래픽을 활용한 사용자 차이 보정
- 레이블 또는 재방문·결제 등 핵심 행동 기반 만족도 예측 지표 설계
- 다중 공정성 척도와 속성 순서를 반영한 검색 평가
