데브옵스
EKS Bottlerocket AMI에서 DCGM 오류로 GPU 노드 반복 교체 문제 해결기
두줄요약
Bottlerocket AMI의 DCGM 라이브러리 누락으로 GPU 노드가 반복 교체된 원인을 분석했습니다. Karpenter Node Auto-Repair를 비활성화해 교체 루프를 해소했습니다.
문제 상황
- Bottlerocket AMI 기반 EKS GPU 노드가 Ready 전환 후 약 10~11분마다 Karpenter에 의해 반복 교체
- GPU Pod 재시작 반복으로 영상 업스케일링 작업 진행 불가
원인 분석
libdcgm.so누락으로 NVIDIA DCGM 초기화 실패AcceleratedHardwareReady=False전환을 Karpenter Node Auto-Repair가 비정상 노드 조건으로 판정- 종료 유예 시간 경과 후 노드 제거와 재생성 반복
해결 방법
- Bottlerocket의 불변성, AMI 변경 비용, 임시 대응 성격을 기준으로 대안 비교
- Karpenter 설정의
nodeRepair를false로 변경해 Node Auto-Repair 비활성화
주의할 점
- Node Auto-Repair 비활성화로 기존 좀비 노드 대응 기능도 함께 제외
- DCGM 오류는 GPU 연산보다 GPU 상태 모니터링과 노드 상태 판정에 직접 영향
