

AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기
AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.
#AWS#Airflow
62005분
새로운 기술 블로그가 추가되었어요


AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.


Amazon DataZone의 Custom Asset Type으로 Tableau 대시보드를 외부 자산으로 통합하고 계보를 구성하는 방법을 설명했습니다. 메타데이터와 OpenLineage 이벤트를 활용해 AWS와 외부 BI 자산을 함께 관리하는 흐름을 정리했습니다.

LG에너지솔루션이 Amazon DataZone으로 데이터와 ML 거버넌스를 통합한 사례를 소개했습니다. 데이터 자산화, 권한 관리, 품질 관리, 모니터링 체계를 함께 구축한 내용입니다.