백엔드
Spark 7편: Optimising Shuffle Partitions(coalescePartitions)
두줄요약
Spark 3.0의 AQE와 coalescePartitions로 셔플 파티션을 동적으로 최적화하는 내용을 소개했습니다. 셔플 파티션 크기에 따른 성능 저하 문제와 파티션 병합 방식도 설명했습니다.
핵심 내용
- Spark 3.0의 AQE(Adaptive Query Execution) 도입과 기존 Catalyst 최적화의 차이
- 셔플 파티션 크기에 따른 disk spill, 네트워크 I/O 비효율 문제
- coalescePartitions를 통한 작은 셔플 파티션 병합과 stage 종료 시점의 재최적화