목록 보기
Spark 6편: Yarn Resource Manager 라벨링
백엔드

Spark 6편: Yarn Resource Manager 라벨링

베스핀글로벌
베스핀글로벌
2025년 3월 27일

두줄요약

YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.

핵심 내용

  • YARN Resource Manager의 노드 라벨링으로 워크로드별 자원 분리를 구성하는 방법 소개
  • Spark Cluster Mode에서 Application Master는 Core Node, Executor는 Task Node에 배치하는 구조 설명
  • EMR 환경에서 Spot Instance 사용 시 발생할 수 있는 AM 장애와 재실행 문제를 라벨링으로 완화하는 사례 정리

구조와 흐름

  • YARN의 Scheduler, Application Master, Container 역할 정리
  • Spark Infra Architecture에서 Cluster Mode와 장애 재시도 흐름 설명
  • EMR의 Master, Core, Task Node 역할 분담과 비용 최적화 맥락 제시

적용해볼 점

  • Core Node는 AM 전용으로 최소 사양 유지
  • Task Node는 Executor 전용으로 높은 사양과 Spot 혼합 구성
  • spark.yarn.* 설정과 node label 등록을 통한 리소스 분리 적용

다음 읽기

#Spark 주제를 이어서 읽기

Spark 3편 – Optimize Partition

Spark에서 파티션이 병렬성, 메모리, 파일 수에 미치는 영향을 설명했습니다. 입력·출력·셔플 파티션 설정을 조정해 성능을 최적화하는 방법을 소개했습니다.

베스핀글로벌
베스핀글로벌
백엔드
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...