
판단에만 집중하세요: 토스 타겟팅 모델 개발 자동화
두줄요약
타겟팅 모델의 피쳐 수, 모델 구조, 성능 평가, 데이터 품질 점검을 TASTE 파이프라인으로 자동화했습니다. 모델 비교와 운영 검증 시간을 줄이고 MLE가 모델 채택 판단에 집중하도록 개선했습니다.
문제 상황
- 고객 타겟팅 모델의 피쳐 수·모델 구조·기존 모델 대비 성능·입력 데이터 신뢰성 판단에 수작업 비교 필요
- TASTE 학습 파이프라인 자동화 이후에도 평가·모니터링 과정의 높은 수작업 의존성
해결 방법
- 성능 개선이 멈추는 지점의 최소 피쳐 수를 선택하는 auto_k 적용
- 동일 평가셋에서 트리 모델과 AITM 퍼널 딥러닝 모델 비교
- OOT 평가, 기존 모델 비교, 피쳐 중요도·방향 분석을 학습 후 보고서로 자동 생성
- 피쳐 목록 고정, 결손 임계치 기반 적재 차단, 복수 날짜 평가와 단독 AUROC 점검
성능/운영 포인트
- 458개 후보 피쳐 중 성능 차이가 없는 최소 75개 선택으로 피쳐 84% 절감
- 모델별 평가 시간 30분에서 1분으로 단축
- 결손 피쳐 비율 10% 초과 시 배치 실패 처리로 비정상 점수 적재 방지
적용해볼 점
- 데이터 규모와 양성 샘플 수에 따라 트리·딥러닝 구조를 실험으로 선택
- 단일 평가일 성능 급등 시 피쳐별 날짜별 단독 AUROC로 미래 정보 누수 점검

