AI
추천 후보는 많을수록 좋을까? TopK를 최적화해 전환율을 높인 방법
두줄요약
추천 후보 TopK를 정수계획법으로 최적화해 후보 수를 절반으로 줄이고 전환율을 높였습니다.\n후속 실험으로 다양성 저하를 보완하며 사용자별 TopK 배정 가능성을 검토합니다.
문제 상황
- 리트리벌 모델별 경험적 TopK 설정으로 전체 후보 수와 랭킹·광고 유효성 검사 비용 증가
- 모델마다 순위별 구매 가치 감소 곡선이 달라 일괄 축소 시 가치 있는 후보 손실 우려
구조와 흐름
- 전체 후보 수 예산 아래 pICVR 합 최대화를 목표로 한 TopK 배정 정수계획법
- 모델별 추천 로그에서 순위별 pICVR 가치 곡선 산출 및 prefix 제약으로 TopK 의미 보존
- 기존·일괄 축소·정수계획법·Maximum Coverage의 4개 실험군을 홈 피드에서 7일간 비교
성능/운영 포인트
- 후보 수 약 절반 축소와 함께 User CVR 7.552%, 사용자당 주문 수 10.133% 증가
- CTR 3.710%, 사용자당 고유 노출 상품 수 22.07% 감소로 전환 효율과 다양성 간 충돌 확인
- Gumbel Weighted Sampling 후속 적용으로 피드 중복도 11.25% 감소, 노출 상품 다양성 4.61% 증가
적용해볼 점
- 최고 단일 지표 대신 전환·수익성·다양성을 함께 반영한 실험 위너 선정
- 최근 로그 기반 Global K 재계산과 사용자 이력·상태별 개인화 TopK 검토
- 신규 리트리벌 모델 평가를 위한 Shadow Logging과 다양성·중복도 지표 관리
