[Databricks] 문서를 신뢰할 수 있는 검색 근거로 준비하는 과정
두줄요약
Databricks 기반으로 문서를 수집·정리·게시하고 AI Search에 반영하는 흐름을 설명했습니다. 최신성, 문맥, 출처, 상태를 분리해 신뢰 가능한 검색 근거를 운영하는 방법을 다뤘습니다.
문제 상황
- 최신 개정본·표·예외 조건이 누락되거나 이전 문서가 섞여 AI 답변 근거의 신뢰성 저하
- 파일 저장 완료, 정제 완료, 검색 반영 완료를 하나의 상태로 취급할 때 발생하는 운영 혼선
구조와 흐름
- Auto Loader 수집, Unity Catalog·Delta 테이블 등록, 문서 변환·분할, AI Search 동기화로 이어지는 문서 검색 파이프라인
- 수집·정제·실패 복구를 독립 작업으로 분리하고 문서 식별자·개정·처리 버전·상태로 결과 연결
- 검색 조각에 제목·섹션·근거 문구·원문 위치·유효 여부를 보존하는 출처 중심 데이터 구성
성능/운영 포인트
- 원문 개정과 처리 버전을 분리해 분할 방식·임베딩 모델 변경에 따른 검색 결과 비교
- 저장 결과와 인덱스 상태를 대조해 검색 갱신 실패 시 원문 재처리 대신 필요한 단계부터 복구
- Job 실행 상태, 문서별 상태, 대표 질문 검색 결과를 함께 확인하는 완료 기준
주의할 점
- 파일명이나 수집 성공만으로 문서 동일성·최신성·검색 가능 상태 판단 금지
- 동일 벡터 차원만으로 임베딩 호환성 가정 금지
- 철회 문서의 원문 보관 여부와 검색 제공 여부를 분리해 검증




