목록 보기
여러 AWS S3 Object를 하나로 압축하기
백엔드

여러 AWS S3 Object를 하나로 압축하기

모두싸인
모두싸인
2021년 5월 12일

두줄요약

S3 객체를 스트림으로 읽고 ZIP으로 압축해 다시 S3에 업로드하는 방식을 소개했습니다. SQS 기반 비동기 작업으로 재시도에 따른 서버 부하를 줄였습니다.

문제 상황

  • 다수의 계약 문서·감사 추적 인증서·첨부 파일을 한 번에 내려받을 수 없는 불편
  • 파일별 다운로드 반복과 고객 요청 처리 부담

구조와 흐름

  • 요청 데이터 저장 후 AWS SQS Task Queue에 압축 작업 메시지 전달
  • 워커가 S3 객체 read stream, ZIP 압축 stream, S3 업로드 stream을 연결해 결과 ZIP 생성
  • 요청 처리와 결과 조회를 분리해 작업 상태·다운로드 결과 제공

선택 이유

  • 서버에 전체 파일을 내려받아 압축하는 방식 대비 stream 기반 처리 선택
  • HTTP 응답 중 직접 압축·전송하는 구조의 재시도 시 전체 작업 반복 문제 해소

주의할 점

  • 서버 중단 등 작업 실패 시 중단 지점부터 재개 불가
  • 실패 상태 기록과 클라이언트 조회 결과를 통한 재시도 처리 필요

다음 읽기

#S3 주제를 이어서 읽기

로그 인리치먼트(Log Enrichment)

로그 인리치먼트로 감사로그의 컨텍스트를 보강한 설계와 구현 사례를 다뤘습니다. 비동기 처리, 메타데이터 저장소, S3 적재와 중복 제거 전략을 설명했습니다.

모두싸인
모두싸인
아키텍처
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...