
6
AI 요약
이 글은 AI가 원문을 분석하여 핵심 내용을 요약한 것입니다.
이 게시물은 자연어 질의로 광고 소재 이미지를 검색하는 PoC의 핵심 결정과 발견을 정리한 내용입니다. Offline에서 LLM이 이미지를 Description으로 구조화하고 Dense(Semantic)·Sparse(키워드)로 나눠 같은 Vector DB에 인덱싱합니다. Online에서는 LLM으로 질의를 검색용 형태로 변환한 뒤 Dense+Sparse Hybrid Search로 찾고, LLM Reranking으로 최종 순위를 결정합니다. Description 기반을 선택한 이유는 이미지의 측면별 분리가 가능하고 Hybrid Search 확장, 텍스트 공간 기반 직관적 비교, 해석 가능성과 프롬프트 기반 반복 개선 용이성입니다. 짧거나 모호한 질의에서 Recall을 높이기 위해 Query Expansion을 비교했으며 Augmentation, HyDE보다 Expansion의 Recall@30 개선이 가장 컸습니다. 다만 원본과 확장 쿼리를 동등 가중치로 결합하면 오히려 성능이 떨어져, Exploitation(원본) vs Exploration(확장) 관점으로 exploration_weight를 도입해 최적 가중치(예: 0.2)에서 Recall@30이 가장 높아졌습니다. 또한 길게·친절하게(프롬프트 길이 강제, 어휘 힌트) 같은 직관적 개선이 임베딩 노이즈/편향으로 인해 성능을 악화시킬 수 있음을 실측으로 확인합니다.

