메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
DynamoDB Export/Glue/Import로 UserBadge를 분리해 16억 건 규모 마이그레이션을 수행했습니다. 비용은 36% 줄고 시간은 7일에서 약 6시간으로 단축했습니다.
#DynamoDB#AWS Glue
0005분
필터 1
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
User 테이블의 Badge 트래픽 병목을 분리해 온라인 마이그레이션으로 이전했습니다. AWS 관리형 서비스를 활용해 비용과 시간을 크게 줄이고 안정성도 높였습니다.
#DynamoDB#AWS Glue
15005분
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
16억 건 규모의 User 테이블에서 Badge 업데이트가 쓰로틀링을 유발한 원인을 분석했습니다. Badge를 별도 테이블로 분리하고, Export/Import와 Glue로 안전한 마이그레이션 전략을 설계했습니다.
#DynamoDB#AWS Glue
0005분
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
Badge 업데이트가 User 테이블 전체를 느리게 만든 원인을 분석하고, 별도 테이블 분리 전략을 설명했습니다. 16억 건 규모를 안전하게 옮기기 위해 Export/Import와 Glue 기반 마이그레이션을 설계했습니다.
#DynamoDB#AWS Glue
11005분
화장품 스마트팩토리 솔루션 전문기업 이젬코와 Amazon QuickSuite로 구현한 AI 기반 품질 데이터 분석 플랫폼
이젬코는 AWS Glue, Athena, QuickSight, QuickSuite로 화장품 품질 데이터 분석 플랫폼을 구축했습니다. 운영 DB 부하를 줄이면서 자연어 질의 기반 AI 분석과 시각화 대시보드를 제공했습니다.
#AWS Glue#Amazon Athena
44005분
삼성전자 로봇 설비 데이터 인사이트 혁신, Part 1: Amazon Quick Sight 대시보드
삼성전자가 로봇 설비 데이터를 Quick Sight 대시보드로 통합해 운영 인사이트를 확보한 사례를 소개합니다. SPICE, Direct Query, 계산된 필드로 성능과 분석 유연성을 함께 높였습니다.
#Amazon Quick Sight#AWS Glue
30005분
리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기
리멤버앤컴퍼니가 Aurora MySQL의 분석 부하를 줄이기 위해 S3 Tables 기반 CDC 데이터 레이크를 구축한 과정을 다뤘습니다. 기존 데이터 이관, Debezium·MSK·Iceberg Kafka Connect 설정과 운영상 주의점을 정리했습니다.
#Amazon S3 Tables#CDC
44005분
HotelStory의 Amazon Q in QuickSight를 통한 생성형 AI 비즈니스 인텔리전스 환경 구축하기
HotelStory가 Amazon Q in QuickSight와 AWS 데이터 পাই프라인으로 셀프 서비스 BI 환경을 구축했습니다. 자연어 분석과 자동화된 전처리로 분석 시간을 줄이고 운영 효율을 높였습니다.
#Amazon QuickSight#AWS Glue
46005분
Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정
Airflow와 Databricks로 디자인허브 정산 파이프라인을 리팩토링한 과정을 정리했습니다. 운영 DB 부하를 줄이고 멱등성, 가시성, 협업 체계를 함께 개선했습니다.
#Airflow#Databricks
21005분
Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안
Apache Iceberg 테이블 관리 작업 중 발생하는 S3 4xx와 503 SlowDown 이슈를 CloudWatch, Server Access Logging, Athena로 분석했습니다. 요청 분산을 위해 해시 또는 날짜 기반 prefix 설계를 적용하는 방안을 정리했습니다.
#Apache Iceberg#Amazon S3
37005분
SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기
AWS Glue로 SAP OData 데이터를 S3 Tables의 Iceberg 테이블에 적재하고 SageMaker Unified Studio와 연계하는 방법을 소개했습니다. 대용량 SAP 데이터를 빠르게 분석하고 통합 활용하는 흐름을 정리했습니다.
#AWS Glue#Amazon S3
39005분
AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략
Step Functions와 Glue ETL로 고객사별 변경 데이터만 병렬 처리하는 아키텍처를 소개했습니다. 이를 통해 비용을 줄이고 준실시간 캠페인 분석 환경을 구축했습니다.
#AWS Glue#ETL
42005분