현대오토에버의 Amazon Bedrock으로 구축한 빅데이터 클러스터 장애 대응 자동화 에이전트 구축기

문제 상황

• Hadoop 기반 빅데이터 클러스터의 24시간 운영 중 장애 대응에 수작업 단계가 많아 초기 진단과 보고에 시간이 많이 소요되는 구조
• 엔지니어 숙련도에 따라 진단 품질이 달라지고, 로그 수집·원인 분석·복구 승인·사후 보고까지 일관성 확보가 어려운 문제

원인 분석

• 알림 하나에도 Ambari 확인, SSH 진단, OpenSearch 로그 탐색, RCA 수행 등 연쇄 작업이 필요해 대응 생명주기가 길어짐
• 진단 결과가 흩어져 있어 원인 추적과 증거 정리가 어려우며, 야간·휴일에는 경험 의존도가 더 커짐

해결 방법

• LangGraph로 장애 대응 워크플로우를 상태 기반 그래프로 구성하고, PostgresSaver로 단계별 체크포인트를 저장
• Amazon OpenSearch Service로 로그를 구조적으로 검색·집계하고, Amazon Bedrock 멀티모델로 분류·진단·RCA를 역할별로 분리
• 병렬 RCA, 자체 반증, Reflector 교차검증, 승인 기반 실행으로 속도와 신뢰성을 함께 확보