[AI Ready Data] 질문에 맞게 나누고 문맥을 보존하는 문서 분할
AI
[AI Ready Data] 질문에 맞게 나누고 문맥을 보존하는 문서 분할
두줄요약
문서 분할에서 제목·표·예외·출처를 보존해 검증 가능한 검색 근거를 만드는 방법을 설명했습니다. 검색용 조각과 계층 문맥을 분리하고 질문별 근거 완전성으로 평가해야 합니다.
구조와 흐름
- 제목·표·예외·출처를 보존하는 문서 분할로 질문별 근거 경계 구성
- 검색용 조각과 계층 보존용 조각을 분리하고, 검색 결과에서 부모 절·인접 조각으로 문맥 확장
- 본문, 제목 경로, 원문 위치, 개정, 분할 정책을 분리 저장해 근거 추적 지원
선택 이유
- 글자 수 제한만으로는 일반 기준·예외·표의 단위와 주석 관계 손실 가능성
- 벡터 검색의 관련 근거 탐색과 계층 정보의 주변 문맥 안내 역할 분리
- 원문 개정과 분할 정책 버전 관리로 조각 경계 변경 추적
주의할 점
- 변환 단계에서 사라진 제목·표·주석은 분할 단계에서 복원 불가
- 추가한 제목 문맥과 원문 본문을 구분하고, 최종 모델 입력의 토큰 한도 재검사
- 제목 포함 관계만으로 예외 적용 같은 업무 관계 추론 금지
적용해볼 점
- 본문-원문 구간 일치, 검색용 길이 초과, 출처 누락을 별도 검사
- 일반 기준과 예외, 표 머리글·행·주석을 함께 요구하는 질문 기반 평가
- 대표 문서 유형에서 새 분할 정책을 비교한 뒤 이전 조각의 전환·정리 기준 마련



