국내 IT 기업 기술 블로그 최신 글

새로운 기술 블로그가 추가되었어요

필터 1

Spark 3편 – Optimize Partition

Spark에서 파티션이 병렬성, 메모리, 파일 수에 미치는 영향을 설명했습니다. 입력·출력·셔플 파티션 설정을 조정해 성능을 최적화하는 방법을 소개했습니다.

Spark의 Cache와 Persist 개념과 사용 시 주의점을 설명했습니다. 메모리 부족으로 인한 spill over를 줄이는 대응 방법도 소개했습니다.