목록 보기
Python의 멀티프로세싱과 Airflow, 그리고 관련된 문제 해결기 1편
백엔드

Python의 멀티프로세싱과 Airflow, 그리고 관련된 문제 해결기 1편

네이버 D2
네이버 D2
2026년 9월 1일

두줄요약

Airflow task 실행에서 필요한 병렬성과 격리성을 설명하고, fork와 spawn의 차이를 비교했습니다. Airflow 3가 성능상 fork를 채택한 이유와 프로세스 구조도 정리했습니다.

핵심 내용

  • Airflow가 task 실행에서 병렬성과 격리성을 동시에 만족해야 하는 배경 설명
  • Python 멀티프로세싱의 fork와 spawn 차이, 생성 시간과 메모리 사용량 비교
  • Airflow 3의 task 실행 프로세스 구조와 fork 채택 이유 정리
  • CeleryExecutor에서 무거운 모듈을 미리 import해 fork 이점을 활용하는 맥락 소개

네이버 계열사 채용5건

채용 사이트에서 전체 보기

다음 읽기

#Python 주제를 이어서 읽기

Python의 GC가 멀티프로세싱과 만나면 생기는 일 - Python과 Airflow, 그리고 관련된 문제 해결기 2편

Airflow의 fork 기반 프로세스에서 Python 순환 GC가 COW와 MySQL 커넥션 종료를 유발한 원인을 분석했습니다. Memray로 별도 누수를 수정하고, 지연 import로 fork 승계 객체를 줄이는 접근을 다뤘습니다.

네이버 D2
네이버 D2
백엔드

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...