AI
AWS Agentcore와 Strands Agent를 활용한 AI 서버 구축기
두줄요약
AWS Bedrock AgentCore Runtime과 Strands Agents로 LLM 기능을 통합한 AI 서버 구축 방식을 소개했습니다.\nEKS 프록시, 단일 이미지 다중 Runtime, 관측성·평가·배포 운영 결정을 설명합니다.
문제 상황
- 리뷰 감성분석·요약, 상담 태그·CS 답변 추천 등 LLM 기능 증가에 따른 AI 서버 통합 운영 필요
- LLM 호출별 프롬프트·토큰·지연 시간 추적과 배포 후 품질 평가 체계 부족
선택 이유
- AgentCore Observability의 세션 기반 GenAI 트레이스와 CloudWatch 연동 활용
- AgentCore Evaluations의 온라인·배치 평가 및 Strands 기반 오프라인 평가 활용
- Bedrock 모델 필드 전달, 구조화 출력, 관측성 스팬 생성을 지원하는 Strands Agents 채택
구조와 흐름
- EKS REST 프록시가 SigV4 서명으로 에이전트별 AgentCore Runtime 호출
- 단일 이미지에서 DD_AI_AGENT 환경 변수로 Runtime 앱과 REST 앱 분기
- Runtime의 HTTP 200 envelope 응답을 프록시가 기존 REST 상태 코드로 재매핑
성능/운영 포인트
- 요청마다 stateful Strands Agent를 새로 생성하고 구조화 출력 뒤 결정론적 normalizer 적용
- Runtime 준비 상태와 liveVersion 확인 후 스모크 테스트 수행
- 오프라인 골든셋·온라인 샘플링·주간 배치 평가의 상호 보완적 운영
