당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기
당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기
200개 이상 DB를 BigQuery로 옮기던 ELT 운영 문제를 DT Platform으로 분리·표준화했습니다. UI와 DSL, 자동 마이그레이션으로 리드타임과 리뷰 병목을 줄였습니다.
#ELT#ETL
133005분
새로운 기술 블로그가 추가되었어요
필터 1
StarRocks의 도입 배경과 성능 최적화
StarRocks의 도입 배경과 성능 최적화
StarRocks의 도입 배경과 내부 구조, 성능 최적화 방법을 정리했습니다.\nELT 전환과 Iceberg 연동, 파티셔닝·버킷팅·정렬 키 설계의 중요성을 설명했습니다.
#StarRocks#ELT
86005분
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 미래 기술: 빅데이터 시대 데이터 통합을 이끄는 트렌드와 혁신
ETL의 기원부터 현대의 ELT, 클라우드, AI 활용 흐름까지 정리했습니다. 현업 파이프라인을 AWS Glue로 재구성했을 때의 장점도 함께 설명했습니다.
#ETL#ELT
27005분