AI
학습에이전트 - Building the Brain
두줄요약
LLM 학습 에이전트의 동시성, 컨텍스트·도구, 답변 품질 개선 구조를 설계했습니다. 역할 분리와 Gemini 명시적 캐싱으로 토큰 비용 최적화 방안도 정리했습니다.
문제 상황
- SSE 기반 LLM 채팅의 장시간 연결과 대량 동시 요청에 따른 스레드 고갈 위험
- 의도 분류·RAG·응답 생성·후처리로 이어지는 확장 가능한 AI 파이프라인 필요
- 답변 품질 검증과 외부 LLM API 입력 토큰 비용 관리 과제
선택 이유
- 동기적 코드 스타일과 높은 동시성 확보를 위한 Spring MVC와 Virtual Thread 조합
- Spring 생태계 신뢰성 및 간결한 구조를 고려한 Spring AI 선택
- 빠르게 변하는 LLM 기술 선택의 근거 보존과 에이전트 협업 맥락 제공을 위한 ADR 문서화
구조와 흐름
- 커리큘럼·진도·자막·영상 프레임·유저 메모리 등 학습 맥락과 필요 시 로드하는 Tool 구성
- 이미지 분석 전용 서브에이전트 분리로 환각과 본체 컨텍스트 비대화 억제
- Golden Dataset, 평가관 에이전트, 조교 에이전트, Claude Code 기반 프롬프트 개선 워크플로우
성능/운영 포인트
- 반복 피드백 기반 프롬프트 수정으로 Golden Dataset 과적합 완화 및 사람 검수 유지
- 대화·화면 캡처·요약 역할별 ChatClient 분리로 불필요한 시스템 프롬프트 토큰 절감
- 암시적 캐싱의 동일 프롬프트 조건과 불명확한 TTL 한계를 고려한 Gemini 명시적 캐싱 및 손익분기점 검토
