Python의 멀티프로세싱과 Airflow, 그리고 관련된 문제 해결기 1편
백엔드
Python의 멀티프로세싱과 Airflow, 그리고 관련된 문제 해결기 1편
두줄요약
Airflow task 실행에서 필요한 병렬성과 격리성을 설명하고, fork와 spawn의 차이를 비교했습니다. Airflow 3가 성능상 fork를 채택한 이유와 프로세스 구조도 정리했습니다.
핵심 내용
- Airflow가 task 실행에서 병렬성과 격리성을 동시에 만족해야 하는 배경 설명
- Python 멀티프로세싱의 fork와 spawn 차이, 생성 시간과 메모리 사용량 비교
- Airflow 3의 task 실행 프로세스 구조와 fork 채택 이유 정리
- CeleryExecutor에서 무거운 모듈을 미리 import해 fork 이점을 활용하는 맥락 소개
