백엔드
Trino resource optimize on YARN
두줄요약
YARN 환경의 Trino 리소스를 재조정해 장비 증설 없이 가용 메모리를 늘리는 과정을 정리했습니다. AM Container와 RESERVED Resource를 고려해 Worker 중심으로 설정을 최적화했습니다.
문제 상황
- YARN 클러스터에 배포된 Trino의 사용량 증가로 기존 리소스 구성 점검 필요
- 장비 증설 없이 클러스터 가용 메모리를 더 확보해야 하는 운영 제약
- YARN 배포 특성상 AM Container, RESERVED Resource, 데몬 프로세스까지 함께 고려해야 하는 복합 조건
원인 분석
- 노드별 Hadoop 데몬 프로세스와 YARN Application 간 메모리 경합 가능성
- AM Container 점유 자원 때문에 Trino가 큐 자원을 전부 사용하지 못하는 구조
- Worker가 순차 기동되며 RESERVED Resource에 막혀 일부 Worker가 시작되지 않는 현상
해결 방법
- Coordinator와 Worker의 노드별 메모리, vCore를 재분배해 Worker 자원을 최대화
- Worker 한 대분의 RESERVED Resource를 미리 반영해 전체 리소스 산정
- JVM Heap, query.max-memory-per-node, query.max-memory, spill-enabled 같은 설정을 역할별로 조정
성능/운영 포인트
- Coordinator와 Worker에 적용되는 설정 범위를 테스트로 확인해 배치
- Dev Queue에는 spill 활성화로 메모리 부족에 따른 쿼리 실패 완화
- Worker 수 모니터링용 Active Nodes Alert로 재발 방지 체계 추가
