AI
AI에게 투자정보를 말하게 하기까지
두줄요약
투자 정보는 적시성, 정확성, 검증 가능성이 중요해 LLM 출력만으로는 부족했습니다. 근거 선별과 절차 통제, 평가 가능한 구조를 통해 AI가 말해도 되는 상태를 운영했습니다.
문제 상황
- 투자 정보는 적시성, 정확성, 검증 가능성, 비정상성이 강하게 요구되는 도메인
- LLM과 에이전트는 그럴듯하지만 틀린 답이나 잘못된 경로를 만들 수 있어 고객 노출 전에 통제가 필요
- 좋은 문장보다 말하기 전후의 근거 선별, 검증, 관찰, 개선 구조가 핵심
원인 분석
- 뉴스·공시·실적 발표처럼 형식이 다른 텍스트에서 근거와 대상 기업을 잘못 연결할 위험
- 자율성이 큰 에이전트는 툴 콜 오류, 상태 전파 오류, 실행 경로 변동으로 운영 부담 증가
- 시장 국면 변화로 고정된 프롬프트·예시·평가 체계가 쉽게 무력화
해결 방법
- 입수 시점에 분류·관련 엔티티·임베딩을 붙이는 컨텍스트 엔지니어링으로 후보를 선별
- 검색, 관련성 판단, 중복 제거, 근거 구성, 응답 생성을 분리한 절차형 그래프로 통제
- 답변과 함께 루브릭, 이벤트 타입, 실패 유형을 구조화해 평가 가능하게 설계
적용해볼 점
- 자율형 에이전트가 필요한지, 절차형 그래프로 충분한지 요건부터 구분
- 운영에서 나온 실패 사례를 평가셋과 하드 샘플 퓨샷으로 되돌리는 피드백 루프 구축
- 생성 품질보다 말할 수 있는 후보의 근거 품질과 방향성 검증을 우선 점검