Velopers
모든 태그
태그

Airflow 기술 블로그 글

Airflow 태그가 달린 국내 IT 기업 기술 블로그 글을 최신순으로 모았습니다.

전체 67개최신 20개 표시
홈에서 필터

관련 태그

#Python193#BigQuery56#Kafka228#Spark49#DBT9#S395#SQL57#LLM995#Kubernetes412#MCP224#Docker117#ETL34

최신 게시글

20개 표시

백엔드

Apache Iceberg 테이블 운영 실전기: 스냅샷 관리부터 Compaction까지

Iceberg 운영에서 스냅샷 폭증과 Small File 문제를 어떻게 다뤘는지 정리했습니다. 작업 이력 관리와 메인터넌스 정책으로 비용과 성능을 개선한 사례입니다.

#Apache Iceberg#Airflow#Spark
000

백엔드

당근 200+개 DB 를 옮기는 ELT 플랫폼, DT Platform 을 만든 이야기

200개 이상 DB를 BigQuery로 옮기던 ELT 운영 문제를 DT Platform으로 분리·표준화했습니다. UI와 DSL, 자동 마이그레이션으로 리드타임과 리뷰 병목을 줄였습니다.

#ELT#ETL#Airflow
13300

데브옵스

Apache Airflow 3.x Dag Parsing 최적화 체크리스트

Airflow DAG 파싱 최적화는 메트릭 기반 측정과 설정 튜닝, 코드 위생 점검이 핵심입니다. 특히 Airflow 3.x의 설정 이동과 ignore 문법 변경을 함께 확인해야 했습니다.

#Airflow#dag-processor#.airflowignore
3120

데브옵스

Apache Flink + RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 일주일까지 확장하기

Apache Flink와 RocksDB 튜닝으로 광고 Frequency Capping 실시간 집계를 7일 구간까지 확장한 사례를 다루었습니다. 세 개의 Flink 앱으로 분리해 병목을 각각 해결하고 Redis 단일 조회 구조로 단순화했습니다.

#Apache Flink#RocksDB#Kafka
9500

AI

Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구

Astronomer Agents는 Airflow API와 로그를 활용해 Dag 개발, 테스트, 디버깅을 돕는 AI 도구입니다. 또한 마이그레이션과 데이터 분석까지 지원해 운영 효율을 높였습니다.

#Airflow#LLM#BigQuery
6800

AI

처음부터 ‘딸깍’은 아니다: AI와 함께한 데이터 환경 구축기

운영 DB 중심 분석의 한계를 넘기 위해 S3, Athena, Airflow, dbt 기반 데이터 환경을 구축했습니다.\nAI skill로 소스 연결, 모델링, 문서화를 자동화하며 실무 생산성을 높였습니다.

#Athena#Airflow#dbt
3300

AI

Astronomer Agents, Airflow를 쓰는 방식을 바꿔버릴 도구

Astronomer Agents로 Airflow 작업의 작성, 테스트, 디버깅 방식이 달라질 수 있음을 소개했습니다. 또한 마이그레이션과 데이터 웨어하우스 분석까지 지원하는 핵심 기능을 설명했습니다.

#Airflow#Claude#Cursor
11100

아키텍처

Standardizing User Activation: How We Built a Shared Data Layer at Karrot

카라트는 사용자 활성화 분석을 공통 Activation Layer로 표준화했습니다. 팀별 ad hoc 쿼리 대신 DBT 기반 모델로 신뢰성과 운영 안정성을 높였습니다.

#DBT#Airflow#ETL
7100

백엔드

당근은 왜 User Activation을 전사 공통 데이터 레이어로 만들었을까?

당근이 User Activation을 전사 공통 데이터 레이어로 만든 배경과 구조를 설명했습니다. 상태와 전이 분석을 위해 신뢰성, 비용, 생산성을 함께 고려한 설계였습니다.

#DBT#Airflow#SQL
12300

백엔드

사업자 데이터 리터러시 높이기: BC Monthly Report 발행기

토스 Business Data Team이 사업자 데이터를 통합해 SSOT 마트를 만들고 월간 리포트를 발행한 과정을 공유했습니다. 전사 지표를 맞추고 인사이트를 제공해 데이터 활용과 리터러시를 높인 사례입니다.

#데이터 리터러시#데이터 마트#SSOT
3700

백엔드

Mapping Karrot’s Data: How We Built Column-Level Lineage

Karrot 데이터팀이 BigQuery SQL 로그를 파싱해 컬럼 단위 데이터 계보를 구축한 과정을 소개했습니다. 테이블 단위 한계를 보완하고 영향 분석과 PII 추적을 정교하게 만든 사례입니다.

#BigQuery#SQL#Airflow
3700

백엔드

당근 데이터 지도를 그리다: 컬럼 레벨 리니지 구축기

BigQuery 쿼리 로그를 SQL 파싱해 컬럼 레벨 리니지를 구축한 사례를 소개했습니다. 테이블·컬럼 의존 관계를 빠르게 추적해 데이터 신뢰성과 운영 효율을 높였습니다.

#SQL#BigQuery#Airflow
9000

백엔드

DBT, Airflow를 활용한 데이터 계보 중심 파이프라인 만들기

DBT와 Airflow로 데이터 계보 중심 파이프라인 Flow.er를 구축한 사례를 소개했습니다. 운영 비용 절감과 조직 확장을 위한 구성 요소와 개선 경험을 공유했습니다.

#DBT#Airflow#data lineage
8000

데브옵스

Apache Airflow가 기여자 경험을 개선하는 법, Airflow Breeze Manager 에 대해 알아보기

Airflow Breeze Manager는 여러 브랜치를 병렬로 개발할 때 발생하는 포트 충돌과 환경 재구성을 줄이기 위해 소개되었습니다. 각 브랜치에 독립된 Breeze 환경을 자동으로 구성해 빠른 전환과 작업을 돕습니다.

#Python#Docker#Airflow
4600

백엔드

Kafka에서 S3로 실시간 데이터 수집 파이프라인 설계와 구축기

Kafka 소비 결과를 Parquet으로 변환해 S3에 적재하는 실시간 수집 파이프라인을 설계하고 구축했습니다. 또한 Flush, 커밋, 모니터링 체계를 통해 누락 없이 안정적으로 운영하는 방법을 정리했습니다.

#Kafka#S3#CDC
12200

백엔드

5대 금융사를 품은 버즈베네핏의 백엔드 팀은 무슨 일을 할까요?

버즈베네핏 백엔드 팀이 데이터 중심 설계와 확장 가능한 파이프라인, 모니터링 체계를 어떻게 구축했는지 소개했습니다. Feature Flag와 실험 지원으로 제품 검증 속도를 높인 사례도 함께 다뤘습니다.

#Golang#Python#Kafka
9100

데브옵스

Airflow를 Docker에서 Kubernetes로 옮기며 배운 것들

Docker 기반 Airflow의 운영 한계를 정리하고 Kubernetes/EKS로 이전한 과정을 공유했습니다. MultiExecutor, Git-Sync, Remote Logging, ArgoCD로 운영 자동화와 격리를 강화했습니다.

#Airflow#Docker#Kubernetes
3500

백엔드

Apache Airflow Task SDK에 대해 알아보기

Airflow Task SDK는 Dag와 내부 시스템을 분리해 업그레이드 호환성과 안정성을 높이는 방향을 소개했습니다. 또한 Supervisor와 Task Runner 구조로 보안과 확장성까지 강화하는 변화를 설명했습니다.

#Airflow#Python#workflow
8400

데브옵스

Amazon MWAA의 최소 권한 구성을 위한 모범 사례

Amazon MWAA 환경에서 최소 권한 원칙을 적용하는 보안 구성을 정리했습니다. 보안 그룹, NACL, VPC 엔드포인트, IAM 정책을 세분화해 네트워크와 서비스 접근을 제한했습니다.

#AWS#Amazon MWAA#Airflow
3700

데브옵스

Airflow 와 Databricks 로 완성한 디자인허브 정산 시스템 리팩토링 여정

Airflow와 Databricks로 디자인허브 정산 파이프라인을 리팩토링한 과정을 정리했습니다. 운영 DB 부하를 줄이고 멱등성, 가시성, 협업 체계를 함께 개선했습니다.

#Airflow#Databricks#Spring Batch
2300