리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 2부: S3 Tables를 프로덕션 환경에서 운영하기

핵심 내용

• Amazon S3 Tables의 프로덕션 운영 전략 정리
• Compaction, Snapshot 관리, Unreferenced File 제거, 모니터링 체계 구성
• 실시간 분석 엔진으로 StarRocks를 EKS 상 Shared-data 방식으로 도입

성능/운영 포인트

• Small File 증가를 막기 위한 자동 Compaction과 targetFileSizeMB 512MB 운영
• 테이블 용도별 Snapshot 보존 정책 차등 적용과 메타데이터 증가 관리
• PyIceberg 기반 메타데이터 수집, 파일 수·크기·평균 크기 지표화

적용해볼 점

• S3 Tables REST Endpoint와 PyIceberg로 파일 단위 관찰 가능
• Iceberg 메타데이터 캐시 TTL은 CDC Commit 주기보다 짧게 설정 필요
• 분석 엔진 선택 시 저지연, 비용, 운영 편의성 함께 검토