AWS DataZone에서 OpenLineage 기반의 Airflow 데이터 계보 그리기
AWS DataZone에서 MWAA와 OpenLineage를 연결해 Airflow 데이터 계보를 작성하는 방법을 설명했습니다. CloudWatch 로그, SQL 파싱, DataZone API를 조합해 입력·출력 테이블 계보를 업데이트했습니다.
#AWS#Airflow
62005분
새로운 기술 블로그가 추가되었어요
필터 1
Amazon DataZone에서 Custom Asset Type을 활용하여 외부 자산(Tableau) 통합 및 데이터 계보 관리하기
Amazon DataZone의 Custom Asset Type으로 Tableau 대시보드를 외부 자산으로 통합하고 계보를 구성하는 방법을 설명했습니다. 메타데이터와 OpenLineage 이벤트를 활용해 AWS와 외부 BI 자산을 함께 관리하는 흐름을 정리했습니다.
#AWS#Amazon DataZone
29005분
AWS DataZone에서 OpenLineage 기반의 View 테이블 데이터 계보 그리기
Amazon DataZone와 OpenLineage를 활용해 RDS View 테이블의 데이터 계보를 작성하는 방법을 소개했습니다. pg_get_viewdef와 SQL Parser로 입력·출력 테이블을 추출한 뒤 Lambda로 DataZone에 반영했습니다.
#AWS DataZone#OpenLineage
31005분