호텔 검색, 어떻게 달라졌을까요? 4편 - 이미지 검색
AI
호텔 검색, 어떻게 달라졌을까요? 4편 - 이미지 검색
두줄요약
호텔 검색의 이미지 품질을 높이기 위해 플레이스 특화 CLIP 인코더를 학습했습니다. 질의와 이미지의 연관성을 강화해 대표 이미지 검색 정확도와 사용자 경험을 개선했습니다.
핵심 내용
- 호텔·플레이스 검색에서 이미지 검색 품질 개선 필요성 정리
- 일반 CLIP 한계를 보완한 플레이스 특화 멀티모달 인코더 학습
- 검색 키워드와 이미지 콘텐츠 연관성 강화로 POI 맥락 반영
문제 상황
- 대표 이미지가 질의와 무관하게 고정 노출되는 문제
- 새로운 키워드 등장 시 이미지 매칭 품질 저하
- 일반 도메인 CLIP의 플레이스 특화 성능 한계
해결 방법
- 플레이스 도메인 데이터로 CLIP 인코더 재학습
- 블로그·사용자 리뷰 활용한 이미지 랭킹 알고리즘 적용
- 검색 질의와 이미지의 의미적 연관성 학습
성능/운영 포인트
- 파인튜닝 중 파괴적 망각 완화
- layer-wise discriminative learning rate 적용
- 소량 이미지로도 클래스 확장 가능한 centroid 기반 학습