Spark 6편: Yarn Resource Manager 라벨링
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.
#Spark#Yarn#EMR
4400

Spot Instance 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
2개 표시
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.

Karpenter로 Cluster Autoscaler를 교체해 스파크성 트래픽에서 노드 증설 속도를 개선했습니다. 또한 노드 병합과 스팟 운영을 통해 비용 절감과 운영 안정성을 함께 확보했습니다.
