데브옵스
Amazon EFS 트러블슈팅, NFS I/O Hang 과 Security Group Outbound 규칙의 상관관계
두줄요약
EFS 유지보수 시 새 서버의 TCP RST가 Security Group Outbound에서 차단되면 NFS I/O가 수분간 멈출 수 있었습니다. mount target에 EC2 SG 대상 All TCP Outbound를 추가하고 tcpdump로 RST 수신 여부를 확인해야 했습니다.
문제 상황
- EFS 유지보수 이후 특정 EC2 인스턴스에서 NFS I/O가 수분간 멈추는 현상
- 다른 EFS 파일 시스템은 정상인데, 특정 파일 시스템만 반복적으로 hang 발생
- 커널 로그에
server not responding후OK로 복구되는 패턴
원인 분석
- EFS 유지보수 시 새 백엔드 서버가 TCP RST를 보내며 재연결을 유도
- mount target의 Security Group에서 기본 Outbound 규칙이 없으면 ACK 없는 RST가 차단
- 평소에는 RST가 거의 발생하지 않아 문제를 놓치기 쉬움
해결 방법
- mount target Security Group에 EC2 인스턴스 SG를 대상으로 한 All TCP Outbound 추가
- 기본 Allow All Outbound 유지도 가능
- NFS 2049만 허용하는 규칙으로는 부족하고, TCP 0-65535 범위 필요
주의할 점
- VPC Flow Logs로는 REJECT가 보이지 않아 확정 진단이 어려움
- tcpdump로 RST 미수신 여부를 확인해야 함
- noresvport는 재연결 보조 수단일 뿐, RST 차단 문제 자체는 해결하지 못함