AWS Lambda와 PyIceberg 로 Amazon S3 Tables 시작하기
AWS Lambda와 PyIceberg로 Amazon S3 Tables에 데이터를 적재하는 구성을 소개했습니다. 권한 설정과 서비스 비교를 함께 다뤄 워크로드에 맞는 선택 기준도 제시했습니다.
#AWS Lambda#PyIceberg
49005분
필터 1
LG 에너지 솔루션의 Amazon DataZone을 활용한 데이터 거버넌스 혁신 전략
LG에너지솔루션이 Amazon DataZone으로 데이터와 ML 거버넌스를 통합한 사례를 소개했습니다. 데이터 자산화, 권한 관리, 품질 관리, 모니터링 체계를 함께 구축한 내용입니다.
#Amazon DataZone#데이터 거버넌스
36005분
AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기
Amazon DataZone와 OpenLineage를 활용해 RDS View 테이블의 데이터 계보를 작성하는 방법을 소개했습니다. pg_get_viewdef와 SQL Parser로 입력·출력 테이블을 추출한 뒤 Lambda로 DataZone에 반영했습니다.
#AWS DataZone#OpenLineage
31005분
SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기
AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
#AWS Glue#SAP
45005분
AWS 데이터 분석 서비스 기반 게임 레벨링 환경 구성 사례
소규모 인디게임의 난이도 조정을 위해 AWS 관리형 서비스 기반 분석 환경을 구성한 사례를 소개했습니다. 게임 로그 수집부터 ETL, 쿼리, 시각화까지 서버리스로 단순화했습니다.
#AWS#AWS Lambda
28005분
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 기원부터 현대의 ELT, 클라우드, AI 활용 흐름까지 정리했습니다. 현업 파이프라인을 AWS Glue로 재구성했을 때의 장점도 함께 설명했습니다.
#ETL#ELT
27005분