기타
(1) 평균을 비교하는 A/B 테스트
두줄요약
A/B 테스트에서 평균 비교와 통계적 추론의 필요성을 설명했습니다. t-test·ANOVA와 p값을 활용하되 이분법적 해석은 경계해야 합니다.
구조와 흐름
- 전환율·클릭률 등 A/B 테스트 지표의 기간별 평균 비교
- 관측 표본의 평균에서 전체 집단에 관한 결론으로 확장하는 통계적 추론
- 두 집단에는 t-test, 여러 집단에는 ANOVA를 활용하는 평균 비교
주의할 점
- 관측된 평균값의 단순 비교로 전체 집단의 차이를 단정하는 위험
- p값 0.05 이하를 두 집단 평균 차이의 통계적 유의성 기준으로 활용
- 0.05 경계만으로 성공·실패를 이분법적으로 판단하지 않는 해석 필요
적용해볼 점
- A/B 테스트 가설에 따라 전체 기간 평균과 일 평균 등 비교 단위 설계
- 평균 차이, p값, 실험 맥락을 함께 고려한 안 선택
