백엔드
Spark 2편 – Caching 및 Persist
두줄요약
Spark의 Cache와 Persist 개념과 사용 시 주의점을 설명했습니다. 메모리 부족으로 인한 spill over를 줄이는 대응 방법도 소개했습니다.
핵심 내용
- Spark의 Cache와 Persist로 RDD나 DataFrame을 메모리에 저장해 재사용하는 방식 소개
- Storage Memory가 부족하면 디스크 spill over가 발생해 오히려 성능 저하 가능
- 메모리 증설, storageFraction 조정, unpersist, repartition으로 대응 가능