봇이 사는 집 — 사내 AI 봇 인프라 이야기
두줄요약
분산된 사내 AI 봇을 EC2 기반 컨테이너 인프라로 통합하고 배포·보안·관측 체계를 구성했습니다. Claude Code의 OpenTelemetry 지표를 Prometheus로 이전하며 집계 오차를 해결했습니다.
문제 상황
- 개인 PC·서버에 분산된 Slack 기반 AI 봇의 가용성, 배포, 시크릿, 관측 관리 한계
- 코드리뷰 시 순간적인 CPU·메모리 사용량 급증과 봇별 토큰·비용 가시성 부족
구조와 흐름
- arm64 EC2 한 대에서 봇별 컨테이너 실행, Socket Mode와 아웃바운드 443 포트 중심의 네트워크 구성
- GitHub Actions OIDC, ECR, S3, CodeDeploy를 연결한 봇별 독립 배포·헬스체크·자동 롤백 흐름
- OpenTelemetry Collector, Prometheus, Grafana와 CloudWatch 경보를 분리한 관측 체계
선택 이유
- 런타임 지식·메모리·로그를 로컬 디스크에 지속 기록하는 봇 특성에 맞춘 EC2와 호스트 볼륨 마운트
- 순간 피크 자원을 여러 봇이 공유하는 단일 대형 인스턴스 구성
- 프롬프트 인젝션을 전제로 한 컨테이너·IAM·IMDSv2·네트워크 기반 권한 경계
성능/운영 포인트
- cgroup 5초 수집과 분당 최소·최대·평균 집계로 순간 CPU 피크 및 OOM kill 확인
- Claude Code OpenTelemetry 지표를 통한 모델·토큰 종류·비용·캐시 적중률 분석
- delta_to_cumulative 처리, rate 창 조정, range selector 경계 보정으로 Prometheus 집계 오차 해소



