AI
기존 LangGraph 워크플로우를 Amazon Bedrock AgentCore Runtime으로: 아이지에이웍스 클레어의 프로덕션 이관과 운영 경험
두줄요약
LangGraph 워크플로우를 AgentCore Runtime으로 이관하며 세션 격리와 분리 배포를 확보했습니다. 부하 테스트와 관측 기반 최적화로 TTFT를 줄이고 콜드 스타트·커넥션 운영 방식을 조정했습니다.
문제 상황
- 단일 ECS 컨테이너에서 여러 LangGraph 워크플로우 실행 시 고동시성 요청의 응답 지연 증가
- 워크플로우별 독립 배포·확장과 장애 격리가 어려운 실행 구조
해결 방법
- 기존 FastAPI·LangGraph 워크플로우를 재작성하지 않고 AgentCore Runtime의
/invocations,/ping프로토콜에 맞춘 어댑터 적용 - Runtime 세션 식별자와 LangGraph
thread_id를 분리해 실행 환경 라우팅과 장기 대화 상태 관리 분리 - VPC 모드, 에이전트별 IAM 역할·보안 그룹으로 데이터 계층의 프라이빗 접근과 최소 권한 구성
성능/운영 포인트
- 그래프 재사용, 불필요한 LLM 호출 제거, 의존성 병렬 초기화, Redshift 워밍으로 TTFT 단축
- 동시성 16에서 Warm 세션 TTFT p95를 3.702초에서 0.174초로 개선
- 신규 세션 급증 시 pre-warmed 용량 초과에 따른 콜드 스타트와 초기화 실패 가능성 확인
주의할 점
- 세션별 실행 환경에 맞춘 DB 커넥션 풀 축소와 유휴 연결 검증 필요
- 진행 작업 취소는 동일 Runtime 세션으로 전송하고, 장기 상태는 checkpointer 등 상위 계층에 보존
- Langfuse trace와 CloudWatch 구조화 로그를 연결한 지연·재시도·오류 추적 체계 필요
