백엔드
SAP OData connection과 AWS Glue로 S3 Tables에서 SAP Data 활용하기
두줄요약
AWS Glue로 SAP OData 데이터를 S3 Tables의 Iceberg 테이블에 적재하고 SageMaker Unified Studio와 연계하는 방법을 소개했습니다. 대용량 SAP 데이터를 빠르게 분석하고 통합 활용하는 흐름을 정리했습니다.
핵심 내용
- SAP OData 커넥터와 AWS Glue로 SAP SFLIGHT 데이터를 S3에 적재한 뒤, S3 Tables의 Iceberg 테이블로 다시 로드하는 흐름
- S3 Tables의 빠른 쿼리 성능, 높은 트랜잭션 처리량, 자동 유지 관리, 세분화된 접근 제어를 활용한 SAP 데이터 분석 환경 구성
- SageMaker Unified Studio와 Lake Formation 권한 설정을 통해 S3 Tables를 Athena, Redshift, JupyterLab 등에서 통합 활용하는 방법
- Glue 커넥션, Visual ETL, Change Schema, Spark 스크립트, Athena 기반 테이블 생성 등 구현 절차 정리
적용해볼 점
- SAP OData 소스의 대용량 데이터를 데이터 레이크와 분석 서비스로 연결하는 적재 파이프라인 구성
- Iceberg 기반 테이블 포맷으로 스키마 변경과 장기 보관을 유연하게 관리
- Glue, S3 Tables, SageMaker Unified Studio를 묶어 SAP와 비SAP 데이터를 함께 분석하는 환경 검토