데브옵스
SAP 데이터와 AWS Glue를 활용하여 RISE 워크로드 확장하기
두줄요약
AWS Glue SAP OData 커넥터로 SAP 데이터를 S3에 적재하고 델타 토큰 기반 증분 로드를 구성하는 방법을 소개했습니다. 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석하는 흐름도 함께 설명했습니다.
핵심 내용
- AWS Glue SAP OData 커넥터로 SAP 데이터를 추출하고 Amazon S3로 적재하는 서버리스 통합 방식
- SAP ODP 프레임워크와 델타 토큰을 활용한 전체 로드 및 증분 로드 구성
- 자재 마스터와 자재 그룹 텍스트를 조인해 Athena에서 분석 가능한 형태로 저장하는 예시
적용해볼 점
- SAP 원천 데이터와 외부 데이터 소스를 결합한 분석용 데이터 레이크 구성
- Glue 작업 스크립트에 상태 관리 로직을 추가해 델타 토큰 저장 및 재사용
- Parquet 포맷과 Data Catalog 갱신 옵션으로 후속 분석과 스키마 관리를 단순화