LLM은 똑똑한데, 왜 우리 회사 일은 모를까

핵심 내용

• LLM이 회사 내부 질문에 답하려면 문서, 코드, 사내 메신저에 흩어진 정보를 신뢰 가능한 컨텍스트로 관리해야 하는 문제 제기
• Topic은 원본을 공통 단위로 정규화하고, 출처별 구조를 보존하며, 관계·최신성·충돌 상태를 함께 관리
• 문서 계층 보존, 메신저 스레드 요약, 코드 심볼과 semantic card 추출, 별칭 승인, 문서-코드 관계 검증으로 신뢰도 향상
• 변경 감지, 해시 비교, 규칙 기반 검사와 LLM 검증을 분리해 비용과 품질을 함께 관리

적용해볼 점

• 검색 결과 자체보다 컨텍스트의 출처, 최신성, 충돌 상태를 함께 다루는 설계 필요
• 명확한 중복은 자동화하고, 애매한 판단은 사람 승인과 근거 보존으로 처리하는 구조 유효
• 답변 생성보다 답변을 뒷받침하는 근거의 신뢰성 관리가 핵심