목록 보기
점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing
백엔드

점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing

뱅크샐러드
뱅크샐러드
2023년 6월 8일

두줄요약

이력성 데이터 증가로 MySQL 부담이 커져 S3와 Athena로 저장·조회 구조를 옮긴 사례를 다뤘습니다. Spark bucketing으로 필요한 데이터만 읽도록 최적화하는 흐름을 소개했습니다.

핵심 내용

  • 이력성 데이터가 커지면서 MySQL 저장 비용과 조회 부담이 커진 상황
  • 더 저렴한 저장소인 S3로 데이터를 이관하고 Athena로 조회하는 방향
  • Spark bucketing을 활용해 서비스 호출 시 필요한 데이터만 읽도록 최적화

다음 읽기

#Spark 주제를 이어서 읽기

점점 커지는 RDB Table, S3로 귀양 보내고 Athena로 불러오기 - feat. Optimization with Spark Bucketing

MySQL 이력 데이터를 S3·Athena 구조로 옮기며 발생한 객체 호출 비용 문제를 분석했습니다. user id 버케팅과 일별 파티션으로 Athena 비용을 약 700배 줄였습니다.

뱅크샐러드
뱅크샐러드
백엔드
전체 보기

댓글 0개

댓글을 작성하려면 로그인이 필요합니다.

댓글을 불러오는 중...