데브옵스
인코어드의 AWS HPC 환경에서 WRF 실행하기 [1부: HPC 전용 인스턴스 선택과 비용 최적화]
두줄요약
AWS HPC 인스턴스에서 WRF 실행 시간과 총비용을 비교해 최적 구성을 검증했습니다. hpc7g 10노드가 가장 경제적이었고, hpc8a는 hpc6a 대체 가능성을 보였습니다.
문제 상황
- 1km 해상도 WRF 기상 시뮬레이션을 목표 시간 안에 완료하면서 비용 최소화 필요
- 도메인별 MPI rank 상한과 통신 부담으로 코어·노드 증가에 따른 선형 성능 향상 한계
구조와 흐름
- AWS HPC 전용 인스턴스 hpc7g·hpc6a·hpc8a에서 WRF 실행 시간과 온디맨드 총비용 비교
- 노드별 물리 코어를 MPI rank와 OpenMP thread로 분배하고 EFA 기반 통신 활용
- hpc8a에서 2~3노드 및 24:8~96:2 병렬 구성 반복 측정
선택 이유
- hpc7g 10노드 구성, 90.99분·$25.53으로 목표 시간 충족 구성 중 실행 시간과 총비용 최저
- hpc8a 3노드 24:8 구성, hpc6a 15노드보다 짧은 시간과 낮은 비용으로 hpc6a 대체 후보
- hpc8a 2노드 구성, 모든 병렬 설정에서 목표 시간 미충족
성능/운영 포인트
- 시간당·노드당 단가 대신 목표 시간 내 작업 완료 기준의 총비용 비교
- hpc8a 3노드에서 24:8~48:4 구간의 병렬 구성 우세, 24:8 기준 97.25분·$38.51
- 중단 시 전체 실행 실패 가능성이 큰 tightly-coupled MPI 워크로드 특성상 On-Demand 운영 선택
