Spark 7편: Optimising Shuffle Partitions(coalescePartitions)
Spark 3.0의 AQE와 coalescePartitions로 셔플 파티션을 동적으로 최적화하는 내용을 소개했습니다. 셔플 파티션 크기에 따른 성능 저하 문제와 파티션 병합 방식도 설명했습니다.
#Spark#AQE
42005분
필터 1
Spark 4편 – Broadcast
Spark의 Broadcast 기능으로 셔플을 줄이고 join 성능을 높이는 방법을 소개했습니다. 작은 데이터셋에는 자동 broadcast 감지와 설정 조건도 함께 설명했습니다.
#Spark#broadcast
37005분
React Compiler - 우리는 memo를 잊을 수 있을까요?
React Compiler로 React 코드 최적화를 자동화하는 흐름을 소개했습니다. 개발자의 memo 관리 부담을 줄이는 방향을 설명했습니다.
#React#compiler
35005분