Spark 6편: Yarn Resource Manager 라벨링
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.
#Spark#Yarn#EMR
3400

Yarn 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
5개 표시
YARN 라벨링으로 Spark의 AM과 Executor를 서로 다른 노드에 배치하는 방법을 소개했습니다. EMR에서 Spot Instance 사용 시 발생하는 장애와 비용 문제를 완화하는 구성도 설명했습니다.

YARN 환경의 Trino 리소스를 재조정해 장비 증설 없이 가용 메모리를 늘리는 과정을 정리했습니다. AM Container와 RESERVED Resource를 고려해 Worker 중심으로 설정을 최적화했습니다.

JavaScript 패키지 매니저의 동작 원리와 npm, pnpm, Yarn의 차이를 설명했습니다. 토스가 Yarn PnP를 선택한 이유와 Zero-install, Import Map의 방향성도 함께 다뤘습니다.

여러 레포지토리로 분산된 프론트엔드 서비스를 모노레포로 통합한 사례를 소개했습니다. 공통 컨벤션과 패키지 공유로 생산성과 유지보수성이 크게 향상되었습니다.

Yarn 대신 pnpm으로 전환한 이유를 1년 사용 경험을 바탕으로 정리했습니다. 패키지 매니저 변경 시 고려할 장점과 적용 포인트를 살펴봅니다.
