텍스트와 벡터가 함께 사는 인덱스를 만드는 과정

문제 상황

• 키워드 기반 검색이 자연어 질의 변화를 따라가지 못해 검색 품질 저하
• 의미 기반 검색과 기존 키워드 검색을 함께 지원할 데이터 구조의 부재

원인 분석

• 검색 알고리즘보다 자연어 검색에 맞지 않는 인덱스 구조가 핵심 문제
• 텍스트 검색과 벡터 검색을 분리 없이 다루기 어려운 기존 방식의 한계

해결 방법

• OpenSearch 기반 하이브리드 인덱스 구축
• title, description, tags와 text_embedding, meta 필드로 텍스트·벡터·필터 정보를 분리 설계
• Titan Embedding v2로 문장 임베딩 생성 후 ETL로 자동 인덱싱

성능/운영 포인트

• Elasticsearch 기반 기존 인프라와의 호환성 확보
• KNN 플러그인으로 키워드와 벡터 검색 통합
• 배치 적재와 신규 데이터 자동 인덱싱으로 운영 효율화

적용해볼 점

• 검색 질의 유형에 따라 키워드·벡터·하이브리드 방식을 동적으로 조합
• 순위 부스팅에 신뢰도, 후기 수, 최신성 같은 신호 반영
• 다국어 확장과 RAG 활용을 고려한 인덱스 설계