백엔드
ETL 개념과 ETL 개발 시 고려해야 하는 원칙들
두줄요약
ETL의 추출·변환·적재 흐름과 데이터 웨어하우스에서의 역할을 정리했습니다. 멱등성, 점진 적재, 파티셔닝, 테스트와 모니터링 원칙을 제시했습니다.
구조와 흐름
- 여러 소스 데이터를 추출·변환·적재하여 데이터 웨어하우스에서 분석과 의사결정에 활용하는 ETL 프로세스
- 스테이징 영역의 임시 보관과 정제·재구성 과정을 거치는 연속적 데이터 처리 흐름
주의할 점
- 재실행·중단 복구·과거 재적재 시 중복과 결과 차이를 막기 위한 멱등성 보장
- 유효 날짜 기반 비즈니스 로직 관리와 하드코딩 회피
- 메타데이터, 레코드 수, NULL·비정상 패턴, 적재 결과 검증을 통한 데이터 품질 관리
성능/운영 포인트
- 전체 팩트 테이블 대신 이전 파티션과 신규 데이터 활용을 통한 점진적 적재
- 날짜 또는 불변 객체 기반 파티셔닝과 병렬 과거 데이터 적재
- Airflow DAG·Task 시각화, 실행 시간·재시도 확인을 통한 ETL 모니터링
적용해볼 점
- 비즈니스 고유 키 기반 OVERWRITE 또는 MERGE INTO를 통한 중복 적재 방지
- 여러 Task가 접근 가능한 저장소에 중간 데이터 적재
- 단일 파티션 단위 작업 구성으로 로그 추적과 선택적 재실행 단순화
