태그

AQE 기술 블로그 글

AQE 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 1개최신 1개 표시

Spark 7편: Optimising Shuffle Partitions(coalescePartitions)

Spark 3.0의 AQE와 coalescePartitions로 셔플 파티션을 동적으로 최적화하는 내용을 소개했습니다. 셔플 파티션 크기에 따른 성능 저하 문제와 파티션 병합 방식도 설명했습니다.