벡터의 중심에서 의미를 외치다 : Vector Clustering Centroid

구조와 흐름

• 대용량 문서를 청킹·임베딩한 뒤 K-Means로 의미 유사 청크를 클러스터링
• 클러스터별 벡터 평균인 centroid와 가장 가까운 실제 청크를 대표 데이터로 선정
• 선정 청크만 LLM에 전달해 문서의 개요와 핵심 주제 요약

선택 이유

• 원문 전체 전달 시 토큰 비용, 컨텍스트 제한, 중간 정보 소실 문제
• 중복·부차적 정보를 줄이면서 문서 전반의 의미적 대표성 확보
• 순차 그룹 기반 centroid 선택과 의미 기반 K-Means 방식 비교

트레이드오프

• 그룹 크기 또는 K값 감소 시 대표 청크 증가에 따른 품질 향상과 비용 증가
• 순차 분할의 문서 흐름 보존 장점과 의미 경계 불일치 한계
• K-Means 결과의 낮은 실루엣 점수, 정보 파편화, lost in the middle 가능성

성능/운영 포인트

• 사례 기준 입력 토큰 80% 이상 절감, 추정 비용 절감률 약 88%
• K값 초기 휴리스틱으로 청크 수의 제곱근 활용, Silhouette Score 기반 최적화 가능
• 중요도 기반 재정렬 또는 map-reduce 병행을 통한 다중 청크 전달 품질 보완