백엔드
Spark 1편 – Backend Service – Optimizer
두줄요약
Spark의 동작 방식과 Catalyst, Tungsten 최적화 역할을 소개했습니다. 논리 계획과 물리 계획, Predicate Pushdown 같은 핵심 개념을 설명했습니다.
핵심 내용
- Spark의 지연 평가 방식과 쿼리 실행 시 내부 최적화 흐름 소개
- Catalyst가 Logical Plan을 Physical Plan으로 변환하며, 컬럼/타입 확인과 표현식 최적화 수행
- Predicate Pushdown, Projection Pruning 같은 최적화 예시와
explain(True)활용 - Tungsten이 최적화된 Query Plan을 바탕으로 CPU·메모리 수준의 Row 최적화 담당