Spark 6편: Yarn Resource Manager 라벨링
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.
#Spark#Yarn#EMR
4500

Spot Instance 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
많이 쓴 회사 인프런·비브로스·베스핀글로벌
3개 표시
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.

Karpenter로 Cluster Autoscaler를 교체해 스파크성 트래픽에서 노드 증설 속도를 개선했습니다. 또한 노드 병합과 스팟 운영을 통해 비용 절감과 운영 안정성을 함께 확보했습니다.

WhisperX와 AWS Batch GPU 인프라로 오프라인 강의 자막 생성 파이프라인을 구축했습니다. 자막 가독성을 개선하고 Spot Instance로 대량 처리 비용을 낮췄습니다.
