데브옵스
서버 비용을 70%나 줄인 온디맨드 리사이징 이야기
두줄요약
사전 생성 썸네일을 WebP 원본 기반 온디맨드 리사이징으로 전환했습니다. SQS·Spot Instance 마이그레이션으로 S3 비용을 70% 이상 절감했습니다.
문제 상황
- 사진 원본과 5~6종 사전 생성 썸네일로 66억 객체, 738TB S3 저장 공간 사용
- 낮은 사진 Fan-out과 클라이언트·CloudFront 캐시로 다수 썸네일의 낮은 재요청률
구조와 흐름
- 업로드 사진의 WebP 원본 S3 저장과 요청 해상도별 온디맨드 리사이징
- 전 세계 AWS Region의 리사이저 서버를 통한 100ms 미만 응답 목표
- Skia 기반 PySkia로 ImageMagick 대비 약 4배 빠른 리사이징
성능/운영 포인트
- SQS 작업 분할, Spot Instance Auto Scaling, DB CPU 메트릭 기반 마이그레이션 처리량 제어
- 멱등적 작업 구성과 S3 업로드·기존 썸네일 삭제 상태의 DB 기록
- S3 대량 삭제 Throttling과 SQS in-flight 메시지 12만 개 제한 확인
트레이드오프
- 사전 썸네일 저장 비용을 요청 시점 연산 비용으로 전환
- 객체 수 82.4%, 저장 용량 75.06% 감소와 사진 저장·리사이징 비용 68% 절감
