크림에서 통합 임베딩(Universal Embedding)은 어떻게 쓰일까?
AI
크림에서 통합 임베딩(Universal Embedding)은 어떻게 쓰일까?
두줄요약
크림의 추천 후보 생성에 통합 임베딩과 범용 리트리벌을 적용한 사례를 소개합니다. v2에서 MRL과 Roaring Bitmap으로 지연 시간과 메모리 사용량을 개선했습니다.
문제 상황
- 추천 구좌별 개별 모델 증가와 공용 후보 생성 체계 필요
- 조건이 결합된 벡터 검색에서 지연 시간·메모리 부담과 유연성 부족
구조와 흐름
- 검색어·상품 등 여러 엔티티를 하나의 공간에 담는 Bi-encoder 기반 통합 임베딩
- 범용 리트리벌 API로 벡터와 조건을 함께 요청해 후보 생성 및 랭킹 입력에 활용
- v2에서 Roaring Bitmap 기반 조건 조합과 전체 후보 점수 계산 방식 적용
해결 방법
- InfoNCE 학습 안정화와 MRL로 단일 벡터의 다중 해상도 지원
- 조건 목록을 지원하는 API로 필터 조합 범위 확장
- 임베딩 서빙 최적화로 응답 지연 약 4배 단축, 메모리 사용량 1/6 수준 축소
적용해볼 점
- 다수 서비스·지면의 후보 생성을 공용 임베딩과 단일 API로 통합하는 방식
- 근사 최근접 탐색 대신 필터 조건과 메모리 효율을 고려한 전체 후보 계산 검토
- 멀티벡터, 지면 확장, 마케팅 타겟팅으로의 활용 범위 확장
