Velopers
필터 1
Airflow Task failed Alert Mail 폭탄 회피하기
네이버 플레이스
데브옵스

Airflow Task failed Alert Mail 폭탄 회피하기

Airflow에서 동일 원인으로 반복 발송되는 Task 실패 알림을 하나로 통합하는 방법을 다루었습니다. DAG run의 Task Instance와 로그를 활용해 중복 메일 노이즈를 줄이는 구현을 소개했습니다.

#Airflow#ETL
3100
Airflow 환경 Docker compose로 containerization하기
네이버 플레이스
데브옵스

Airflow 환경 Docker compose로 containerization하기

Airflow 개발 환경을 Docker compose로 컨테이너화해 배포와 유사한 상태에서 실행·디버깅할 수 있게 구성했습니다. PyCharm 연동, Executor 분리, 설정 통합으로 개발 생산성과 관리 편의도 높였습니다.

#Airflow#Docker
2900
원티드랩 데이터 마트 — 설립기
원티드
백엔드

원티드랩 데이터 마트 — 설립기

원티드랩의 데이터 마트 설계 과정을 ERD 작성부터 운영 규칙 정립까지 정리했습니다. BigQuery와 Airflow를 활용해 확장성과 품질을 높인 운영 방식도 소개했습니다.

#BigQuery#SQL
2400
랭킹 시스템 개편기
올리브영
백엔드

랭킹 시스템 개편기

기존 오라클 프로시저 기반 랭킹 시스템의 확장성과 운영 비효율을 해결하기 위해 신규 아키텍처를 설계했습니다. AWS Glue, Athena, Step Function을 활용해 서버리스 랭킹 파이프라인을 구성했습니다.

#AWS Glue#Athena
2100
분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?
뱅크샐러드
백엔드

분석 데이터를 프로덕션에서 쉽게 사용할 수 없을까?

분석 데이터를 프로덕션에서 쉽게 쓰기 위한 데이터서빙 서비스 구축 과정을 소개합니다. 분석 테이블을 API로 제공하기 위해 S3, Airflow, Spark 등을 활용했습니다.

#S3#Airflow
2100
Self Serving Data Platform 구축하기 (feat. Airflow)
버즈빌
백엔드

Self Serving Data Platform 구축하기 (feat. Airflow)

셀프 서빙 데이터 플랫폼을 구축한 사례를 소개했습니다. Airflow를 활용해 데이터 파이프라인 운영 부담을 줄이는 방향을 다뤘습니다.

#Airflow#ETL
2300