목록 보기
봇이 사는 집 — 사내 AI 봇 인프라 이야기
데브옵스

봇이 사는 집 — 사내 AI 봇 인프라 이야기

펫프렌즈
펫프렌즈
2026년 11월 17일

두줄요약

분산된 사내 AI 봇을 EC2 기반 컨테이너 인프라로 통합하고 배포·보안·관측 체계를 구성했습니다. Claude Code의 OpenTelemetry 지표를 Prometheus로 이전하며 집계 오차를 해결했습니다.

문제 상황

  • 개인 PC·서버에 분산된 Slack 기반 AI 봇의 가용성, 배포, 시크릿, 관측 관리 한계
  • 코드리뷰 시 순간적인 CPU·메모리 사용량 급증과 봇별 토큰·비용 가시성 부족

구조와 흐름

  • arm64 EC2 한 대에서 봇별 컨테이너 실행, Socket Mode와 아웃바운드 443 포트 중심의 네트워크 구성
  • GitHub Actions OIDC, ECR, S3, CodeDeploy를 연결한 봇별 독립 배포·헬스체크·자동 롤백 흐름
  • OpenTelemetry Collector, Prometheus, Grafana와 CloudWatch 경보를 분리한 관측 체계

선택 이유

  • 런타임 지식·메모리·로그를 로컬 디스크에 지속 기록하는 봇 특성에 맞춘 EC2와 호스트 볼륨 마운트
  • 순간 피크 자원을 여러 봇이 공유하는 단일 대형 인스턴스 구성
  • 프롬프트 인젝션을 전제로 한 컨테이너·IAM·IMDSv2·네트워크 기반 권한 경계

성능/운영 포인트

  • cgroup 5초 수집과 분당 최소·최대·평균 집계로 순간 CPU 피크 및 OOM kill 확인
  • Claude Code OpenTelemetry 지표를 통한 모델·토큰 종류·비용·캐시 적중률 분석
  • delta_to_cumulative 처리, rate 창 조정, range selector 경계 보정으로 Prometheus 집계 오차 해소

다음 읽기

같은 회사의 연관 글

LLM은 모델보다 하네스가 먼저다: 만득이 한 달 수습기

업무용 LLM 봇에서는 모델보다 하네스가 더 중요하다는 점을 정리했습니다. 범위 설정, 근거 분리, 도구 실패 구분이 실제 운영 품질을 좌우했습니다.

펫프렌즈
펫프렌즈
AI
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...