Agent 로 최적화 하는 EKS 운영: AWS DevOps Agent + K8s Operator로 MTTR 줄이기

핵심 내용

• EKS에서 Pod OOMKilled, IP 고갈 같은 장애를 자동 감지해 AWS DevOps Agent 조사를 트리거하는 DevOps Agent Operator 소개
• Operator가 Pod 장애 감지, 컨텍스트 수집, CloudWatch·S3 저장, Generic Webhook 호출까지 수행해 end-to-end 인시던트 대응 파이프라인 구성
• Slack, GitHub, Runbook 연동으로 분석 결과 공유와 코드 변경 이력·운영 맥락까지 함께 조사 가능

구조와 흐름

• DevOps Agent에서 Agent Space와 Generic Webhook, GitHub Pipeline, Slack Communication 사전 구성
• EKS에 Operator 배포 후 Pod 이벤트를 감지해 manifest, 로그, Events, 노드 정보 수집
• 수집 데이터로 DevOps Agent가 OOMKilled 같은 장애의 근본 원인 분석과 Mitigation 제안 수행

선택 이유

• 사람의 수동 트리거와 컨텍스트 수집은 24/7 운영에서 현실적 한계
• Kubernetes Events 보관 시간과 로그 소실 문제로 즉시 수집 필요
• CronJob보다 Operator가 클러스터 내부 상시 감시와 선언적 자동화에 적합

적용해볼 점

• Pod 장애 직후 로그와 이벤트, 노드 진단 정보를 즉시 보존하는 자동화 설계
• Runbook과 코드 변경 이력을 함께 엮어 조사 품질 향상
• CloudWatch Logs, S3, Slack, GitHub 연동으로 인시던트 대응 표준화