
여러 AWS S3 Object를 하나로 압축하기
두줄요약
S3 객체를 스트림으로 읽고 ZIP으로 압축해 다시 S3에 업로드하는 방식을 소개했습니다. SQS 기반 비동기 작업으로 재시도에 따른 서버 부하를 줄였습니다.
문제 상황
- 다수의 계약 문서·감사 추적 인증서·첨부 파일을 한 번에 내려받을 수 없는 불편
- 파일별 다운로드 반복과 고객 요청 처리 부담
구조와 흐름
- 요청 데이터 저장 후 AWS SQS Task Queue에 압축 작업 메시지 전달
- 워커가 S3 객체 read stream, ZIP 압축 stream, S3 업로드 stream을 연결해 결과 ZIP 생성
- 요청 처리와 결과 조회를 분리해 작업 상태·다운로드 결과 제공
선택 이유
- 서버에 전체 파일을 내려받아 압축하는 방식 대비 stream 기반 처리 선택
- HTTP 응답 중 직접 압축·전송하는 구조의 재시도 시 전체 작업 반복 문제 해소
주의할 점
- 서버 중단 등 작업 실패 시 중단 지점부터 재개 불가
- 실패 상태 기록과 클라이언트 조회 결과를 통한 재시도 처리 필요



