백엔드
Redshift DW에서 PG DM을 만드는 여정
두줄요약
Athena와 Redshift 직접 조인의 비용·성능 문제를 데이터마트로 완화하려 했습니다. PostgreSQL dblink와 자동 생성 프로시저로 Redshift 데이터를 선별 동기화했습니다.
문제 상황
- S3·Athena 쿼리와 Lambda 실행 시간에 따른 비용·속도 비효율
- 운영 Redshift의 다중 테이블 Hash Join으로 인한 높은 CPU 사용량과 세션 종료
원인 분석
- 조인 키 인덱스 부재 환경에서 Hash Join 중심 실행 계획
- Redshift의 대용량 원본 데이터 직접 조회에 따른 스캔·조인 부하
해결 방법
- Redshift 데이터를 PostgreSQL 데이터마트로 동기화하는 Data Convenience Store 구상
- postgres_fdw·dblink와 PL/pgSQL 프로시저를 통한 Redshift→PostgreSQL 적재
- 매체별 메트릭·리소스 테이블을 8개 섹션으로 분리한 동기화 단위
성능/운영 포인트
- 광고 계정과 수집 기간 조건 기반의 필요한 데이터만 선별 적재
- Redshift 스키마·메타데이터 기반 프로시저 생성 자동화와 예약어 컬럼 처리
- 월별 파티셔닝, 복합 인덱스, REST API·즉시 수집 콜백 수용 요구사항
