DBT와 Airflow 도입하며 마주한 7가지 문제들
DBT와 Airflow를 도입하며 겪은 7가지 문제와 해결 방안을 정리했습니다. 데이터 구조화, 연동, 테스트, 백필까지 운영 관점의 설계 경험을 공유했습니다.
#DBT#Airflow
5900
필터 1
Airflow Task failed Alert Mail 폭탄 회피하기
Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.
#Airflow#ETL
3100
Airflow 환경 Docker compose로 containerization하기
Airflow 개발 환경을 Docker compose로 컨테이너화해 배포와 유사한 상태에서 실행·디버깅할 수 있게 구성했습니다. PyCharm 연동, Executor 분리, 설정 통합으로 개발 생산성과 관리 편의도 높였습니다.
#Airflow#Docker
2900
원티드랩 데이터 마트 — 설립기
원티드랩의 데이터 마트 설계 과정을 ERD 작성부터 운영 규칙 정립까지 정리했습니다. BigQuery와 Airflow를 활용해 확장성과 품질을 높인 운영 방식도 소개했습니다.
#BigQuery#SQL
2400
업데이트 압축률 67%, 플레이스 리뷰 tagging 시스템 개선경험
태깅 파이프라인을 원본 저장, 로직 분리, write buffer로 재설계해 업데이트 부하를 줄였습니다. 운영툴 통합과 수동 태그 보존으로 관리성과 안정성도 함께 높였습니다.
#Kafka#DB
3400
로컬 Airflow on K8S 구축에 Vault 곁들이기 - Airflow 개발 환경 고도화
로컬 K8S에서 Airflow 개발 환경을 구축하고 Vault로 보안을 강화하는 내용을 다루었습니다. 개발 환경 고도화를 위해 두 기술을 함께 활용하는 흐름을 소개했습니다.
#Airflow#Kubernetes
1800
Velopers 추천광고
쿠팡 파트너스
개발자를 위한 인기 상품을 확인해 보세요
이 게시물은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다.
#개발자#노트북#컴퓨터
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
분석 데이터를 프로덕션에서 쉽게 쓰기 위한 데이터서빙 서비스 구축 과정을 소개합니다. 분석 테이블을 API로 제공하기 위해 S3, Airflow, Spark 등을 활용했습니다.
#S3#Airflow
2100
Self Serving Data Platform 구축하기 (feat. Airflow)
셀프 서빙 데이터 플랫폼을 구축한 사례를 소개했습니다. Airflow를 활용해 데이터 파이프라인 운영 부담을 줄이는 방향을 다뤘습니다.
#Airflow#ETL
2300
MinIO 도입기— HA 이해 및 DR 전략 구성
MinIO를 아카이빙 스토리지로 도입하며 HA와 Failover 동작을 검증하고, 장애 레벨별 대응 기준을 정리했습니다. 또한 HDFS distcp와 Airflow로 Backup & Restore 체계를 구성해 DR 전략을 마련했습니다.
#MinIO#HA
2200
컬리의 BigQuery 도입기 - 2부
BigQuery 도입으로 정형·비정형 데이터 파이프라인을 분리해 구축하고, CDC 기반 적재와 Merge Procedure로 원본 정합성을 맞췄습니다. 또한 데이터 레이크하우스화, 쿼리 성능 개선, 비용 절감 효과를 얻었습니다.
#BigQuery#Kafka
3000
컬리의 BigQuery 도입기 - 1부
기존 데이터 파이프라인의 지연과 복잡성을 줄이기 위해 컬리가 BigQuery 도입 배경과 주안점을 정리했습니다. 스트리밍 적재, 파티션 관리, 프로젝트 분리로 성능과 비용을 함께 고려했습니다.
#BigQuery#Kafka
4000
데이터사이언스팀이 예측모델을 개발하고 운영하는 방법을 소개합니다.
데이터사이언스팀의 예측모델 개발·운영 구조와 MLOPS 기반 서빙 체계를 소개했습니다. 또한 배포 후 대응, 성능 분석, Leakage 주의 등 실무에서 배운 점을 정리했습니다.
#ML#MLOps
2100
브랜디 ML팀의 Change Point Detection (CPD) 모델 도입기
커머스 시계열 지표의 급변을 자동 감지하기 위해 온라인 CPD와 SDAR 기반 모델을 도입했습니다. Airflow와 Glue로 ETL·알림 파이프라인을 구성해 Slack 경보까지 연결했습니다.
#ML#AWS
3900
리디의 머신러닝 파이프라인 톺아보기
리디 데이터사이언스팀이 기존 시스템을 활용해 머신러닝 파이프라인을 구축한 사례를 소개했습니다. 학습, 배포, A/B 테스트, 모니터링까지 유기적으로 연결해 운영 효율을 높였습니다.
#ML#MLOps
3000