AI
아이지에이웍스 클레어의 Agentic AI PoC 여정: Amazon Bedrock AgentCore로 설계하고 평가하기
두줄요약
AgentCore 기반 Agentic 클레어 PoC에서 복합 질의 처리와 평가 주도 개선 루프를 검증했습니다. 구조화 라우팅과 MCP 도구 연결로 품질을 유지하며 응답 시간을 약 60% 단축했습니다.
문제 상황
- 단일 컨테이너 기반 기존 클레어의 동시 요청 지연과 개별 확장 제약
- 고정형 LangGraph 워크플로우로 운영 DB·DW를 결합하는 복합 질의 처리 한계
구조와 흐름
- supervisor 그래프의 구조화 출력 기반 triage와 코드 라우팅
- Claude Haiku 기반 안내 경로와 Claude Opus 기반 SQL ReAct 경로 분리
- MCP 도구 서버·AgentCore Gateway·Memory를 활용한 도구 연결과 세션 복원 검증
해결 방법
- AgentCore Runtime의 세션별 MicroVM 격리와 독립 배포·확장 모델 검증
- JSONL 시나리오·assertions·trajectory 대조 기반 Evaluations 체계 재설계
- trace 관측, 프롬프트·구조 수정, 배포·평가·롤백을 잇는 개선 루프 구성
성능/운영 포인트
- 절대 수치 대신 실제 도구 호출 결과와 응답의 일치 여부를 평가 기준으로 적용
- 멀티턴 조건 병합과 사용자 오류 수치 비동조 시나리오로 평가 범위 확장
- 출력 토큰 제한, 도구 로딩 병렬화, MCP 세션 유지로 복합 질의 응답 시간 약 60% 단축
