메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
DynamoDB Export/Glue/Import로 UserBadge를 분리해 16억 건 규모 마이그레이션을 수행했습니다. 비용은 36% 줄고 시간은 7일에서 약 6시간으로 단축했습니다.
#DynamoDB#AWS Glue#S3
000
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
태그
AWS Glue 기술 블로그 글
AWS Glue 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.
전체 19개최신 19개 표시
관련 태그
최신 게시글
19개 표시
메시지 전송 트래픽 100배에도 끄떡 없는 User 테이블로 뜯어고치기 (2)
User 테이블의 Badge 트래픽 병목을 분리해 온라인 마이그레이션으로 이전했습니다. AWS 관리형 서비스를 활용해 비용과 시간을 크게 줄이고 안정성도 높였습니다.
#DynamoDB#AWS Glue#S3
1600
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
16억 건 규모의 User 테이블에서 Badge 업데이트가 쓰로틀링을 유발한 원인을 분석했습니다. Badge를 별도 테이블로 분리하고, Export/Import와 Glue로 안전한 마이그레이션 전략을 설계했습니다.
#DynamoDB#AWS Glue#ETL
000
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
메시지 트래픽 100배에도 끄떡 없게 고객 테이블 뜯어고치기 (1)
Badge 업데이트가 User 테이블 전체를 느리게 만든 원인을 분석하고, 별도 테이블 분리 전략을 설명했습니다. 16억 건 규모를 안전하게 옮기기 위해 Export/Import와 Glue 기반 마이그레이션을 설계했습니다.
#DynamoDB#AWS Glue#ETL
1100
화장품 스마트팩토리 솔루션 전문기업 이젬코와 Amazon QuickSuite로 구현한 AI 기반 품질 데이터 분석 플랫폼
이젬코는 AWS Glue, Athena, QuickSight, QuickSuite로 화장품 품질 데이터 분석 플랫폼을 구축했습니다. 운영 DB 부하를 줄이면서 자연어 질의 기반 AI 분석과 시각화 대시보드를 제공했습니다.
#AWS Glue#Amazon Athena#Amazon QuickSight
4600
삼성전자 로봇 설비 데이터 인사이트 혁신, Part 1: Amazon Quick Sight 대시보드
삼성전자가 로봇 설비 데이터를 Quick Sight 대시보드로 통합해 운영 인사이트를 확보한 사례를 소개합니다. SPICE, Direct Query, 계산된 필드로 성능과 분석 유연성을 함께 높였습니다.
#Amazon Quick Sight#AWS Glue#Amazon Athena
3000
리멤버앤컴퍼니의 Amazon S3 Tables를 활용한 실시간 분석 워크로드 구축하기 1부: S3 Tables에 CDC 데이터 레이크 구축하기
리멤버앤컴퍼니가 Aurora MySQL의 분석 부하를 줄이기 위해 S3 Tables 기반 CDC 데이터 레이크를 구축한 과정을 다뤘습니다. 기존 데이터 이관, Debezium·MSK·Iceberg Kafka Connect 설정과 운영상 주의점을 정리했습니다.
#Amazon S3 Tables#CDC#Iceberg
4500
HotelStory의 Amazon Q in QuickSight를 통한 생성형 AI 비즈니스 인텔리전스 환경 구축하기
HotelStory가 Amazon Q in QuickSight와 AWS 데이터 পাই프라인으로 셀프 서비스 BI 환경을 구축했습니다. 자연어 분석과 자동화된 전처리로 분석 시간을 줄이고 운영 효율을 높였습니다.
#Amazon QuickSight#AWS Glue#Amazon Athena
4700
Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정
Airflow와 Databricks로 디자인허브 정산 파이프라인을 리팩토링한 과정을 정리했습니다. 운영 DB 부하를 줄이고 멱등성, 가시성, 협업 체계를 함께 개선했습니다.
#Airflow#Databricks#Spring Batch
2300
Apache Iceberg Table Management작업에서 발생하기 쉬운Amazon S3 이슈 분석과 해결 방안
Apache Iceberg 테이블 관리 작업 중 발생하는 S3 4xx와 503 SlowDown 이슈를 CloudWatch, Server Access Logging, Athena로 분석했습니다. 요청 분산을 위해 해시 또는 날짜 기반 prefix 설계를 적용하는 방안을 정리했습니다.
#Apache Iceberg#Amazon S3#AWS Glue
3700
SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기
AWS Glue로 SAP OData 데이터를 S3 Tables의 Iceberg 테이블에 적재하고 SageMaker Unified Studio와 연계하는 방법을 소개했습니다. 대용량 SAP 데이터를 빠르게 분석하고 통합 활용하는 흐름을 정리했습니다.
#AWS Glue#Amazon S3#Apache Iceberg
3900
AWS Glue ETL을 활용한 CRM 데이터의 효율적인 병렬처리 전략
Step Functions와 Glue ETL로 고객사별 변경 데이터만 병렬 처리하는 아키텍처를 소개했습니다. 이를 통해 비용을 줄이고 준실시간 캠페인 분석 환경을 구축했습니다.
#AWS Glue#ETL#Step Functions
4200
AWS Lambda와 PyIceberg 로 Amazon S3 Tables 시작하기
AWS Lambda와 PyIceberg로 Amazon S3 Tables에 데이터를 적재하는 구성을 소개했습니다. 권한 설정과 서비스 비교를 함께 다뤄 워크로드에 맞는 선택 기준도 제시했습니다.
#AWS Lambda#PyIceberg#Amazon S3
4900
LG 에너지 솔루션의 Amazon DataZone을 활용한 데이터 거버넌스 혁신 전략
LG에너지솔루션이 Amazon DataZone으로 데이터와 ML 거버넌스를 통합한 사례를 소개했습니다. 데이터 자산화, 권한 관리, 품질 관리, 모니터링 체계를 함께 구축한 내용입니다.
#Amazon DataZone#데이터 거버넌스#AWS Glue
3600
AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기
Amazon DataZone와 OpenLineage를 활용해 RDS View 테이블의 데이터 계보를 작성하는 방법을 소개했습니다. pg_get_viewdef와 SQL Parser로 입력·출력 테이블을 추출한 뒤 Lambda로 DataZone에 반영했습니다.
#AWS DataZone#OpenLineage#AWS Lambda
3100
SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기
AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
#AWS Glue#SAP#Apache Spark
4500
AWS 데이터 분석 서비스 기반 게임 레벨링 환경 구성 사례
소규모 인디게임의 난이도 조정을 위해 AWS 관리형 서비스 기반 분석 환경을 구성한 사례를 소개했습니다. 게임 로그 수집부터 ETL, 쿼리, 시각화까지 서버리스로 단순화했습니다.
#AWS#AWS Lambda#API Gateway
2800
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 기원부터 현대의 ELT, 클라우드, AI 활용 흐름까지 정리했습니다. 현업 파이프라인을 AWS Glue로 재구성했을 때의 장점도 함께 설명했습니다.
#ETL#ELT#데이터 파이프라인
2700
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
랭킹 시스템 개편기
기존 오라클 프로시저 기반 랭킹 시스템의 확장성과 운영 비효율을 해결하기 위해 신규 아키텍처를 설계했습니다. AWS Glue, Athena, Step Function을 활용해 서버리스 랭킹 파이프라인을 구성했습니다.
#AWS Glue#Athena#Step Functions
1700
