데브옵스
AWS에서 AI 에이전트 실행 환경 격리하기 3부: 에이블리의 Amazon EKS 기반 Agent Sandbox 운영 사례
두줄요약
에이블리의 EKS 기반 Agent Sandbox로 프로젝트 작업환경을 중단·재개·만료하는 방식을 소개했습니다. Karpenter, Kyverno, S3를 연결해 유휴 자원 회수와 작업물 보존을 함께 운영했습니다.
문제 상황
- AI Builder 프로젝트별 작업환경의 지속성 확보와 유휴 실행 자원 회수 필요
- 대화 종료 뒤에도 이어지는 작업, 프리뷰 활동, 에이전트 장기 명령을 고려한 수명 주기 관리 필요
구조와 흐름
- 프로젝트별 Sandbox 생성 후 Agent Sandbox 컨트롤러의 Pod 관리, Karpenter 전용 NodePool 배치
- 애플리케이션의 유휴 판단·작업물 S3 저장 후 Suspended 전환, 사용자 복귀 시 Running 전환과 코드·의존성 복원
- Kyverno 기반 Service·Istio 접속 리소스 생성, ExternalDNS와 Route 53을 통한 호스트 등록
성능/운영 포인트
- readiness probe로 Pod Ready와 실제 작업 준비 상태 분리, 준비된 Pod에만 트래픽 전달
- do-not-disrupt 어노테이션과 Karpenter Disruption budget으로 활성 작업 보호 및 빈 노드 회수
- 재개 시 복원·의존성 설치 부하를 반영한 CPU·메모리 requests와 MostAllocated 스케줄링 적용
주의할 점
- v1.0.8에서 네트워크 요청 기반 자동 재개 미지원으로 애플리케이션의 operatingMode 변경 필요
- 만료 처리에는 작업물 저장 단계가 없어 정상 중단 경로와 별도 운영 필요
- Agent Sandbox의 Service 생성과 Kyverno 생성 Service의 이름 충돌 시 Ready 실패 가능성
