AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기
Amazon DataZone와 OpenLineage를 활용해 RDS View 테이블의 데이터 계보를 작성하는 방법을 소개했습니다. pg_get_viewdef와 SQL Parser로 입력·출력 테이블을 추출한 뒤 Lambda로 DataZone에 반영했습니다.
#AWS DataZone#OpenLineage
3300
필터 1
SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기
AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
#AWS Glue#SAP
4600
AWS 데이터 분석 서비스 기반 게임 레벨링 환경 구성 사례
소규모 인디게임의 난이도 조정을 위해 AWS 관리형 서비스 기반 분석 환경을 구성한 사례를 소개했습니다. 게임 로그 수집부터 ETL, 쿼리, 시각화까지 서버리스로 단순화했습니다.
#AWS#AWS Lambda
2800
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 기원부터 현대의 ELT, 클라우드, AI 활용 흐름까지 정리했습니다. 현업 파이프라인을 AWS Glue로 재구성했을 때의 장점도 함께 설명했습니다.
#ETL#ELT
2900
랭킹 시스템 개편기
기존 오라클 프로시저 기반 랭킹 시스템의 확장성과 운영 비효율을 해결하기 위해 신규 아키텍처를 설계했습니다. AWS Glue, Athena, Step Function을 활용해 서버리스 랭킹 파이프라인을 구성했습니다.
#AWS Glue#Athena
2100